hadoop
关注
分享
扫一扫
文章平均质量分 92
carlos yue
这个作者很懒，什么都没留下…
展开
-
hadoop 安装配置
文章目录大数据环境安装机器准备机器配置静态IP配置主机名配置linux 无密码登录ntp时间同步编辑配置文件 hadoop1 hadoop2 hadoop3 都需要编辑jdk 安装zookeeper安装zookeeper 使用hadoop 配置安装配置初次启动hadoop验证测试集群工作状态的一些指令 ：3台主机部署安装日常启动和停止开机启动脚本大数据环境安装机器准备机器配置静态IP配置...原创 2020-03-16 22:31:50 · 175 阅读 · 0 评论 -
azkaban 安装
准备工作1） 创建相应的文件夹mkdir /opt/azkaban-3.342） 编译环境yum -y install make gcc-c++ cmake bison-devel ncurses-devel构建azkaban获取源代码git clone https://github.com/azkaban/azkaban.git2.进入目录执行项目构建cd /opt/azk...原创 2020-03-15 10:32:21 · 253 阅读 · 1 评论 -
flume 编译
flume 笔记源码编译下载源码https://github.com/apache/flume/tree/release-1.7.0编译mvn install -Dmaven.test.skip=true重要事情说三遍一定要开代理，否则很难编译通过一定要开代理，否则很难编译通过一定要开代理，否则很难编译通过编译包位置apache-flume-1.7.0-src\flume...原创 2020-03-15 10:30:41 · 592 阅读 · 0 评论 -
kafka配置和使用
文章目录官方文档下载安装配置启动停止消费者生产者其他查看topic的详细信息查看所有topic为topic增加副本创建topic为topic增加partition.kafka生产者客户端命令kafka消费者客户端命令kafka服务启动删除topic查看consumer组内消费的offset最大字节调整kafka 查询所有分区数官方文档http://kafka.apache.org/下载安装...原创 2020-03-15 10:27:32 · 1141 阅读 · 0 评论 -
hadoop2.6.2centos 配置文件说明
文章目录hadoop2.6.2centos 配置文件说明1修改hadoo-env.sh2修改core-site.xml3修改hdfs-site.xml4修改mapred-site.xml5修改yarn-site.xml6修改slaves7配置免密码登陆hadoop2.6.2centos 配置文件说明hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下cd $HA...原创 2020-03-15 10:16:13 · 338 阅读 · 0 评论 -
hive 配置
hive 配置下载hive本次使用版本 2.3.0tar -zxvf apache-hive-2.3.0-bin.tar.gzcd /opt/apache-hive-2.3.0-bin拷贝mysql 驱动jar 到lib目录下mkdir logsmkdir tmphive配置文件cp /opt/apache-hive-2.3.0-bin/conf/hive-default.xml...原创 2020-03-15 10:12:59 · 284 阅读 · 0 评论 -
hive 使用
hive动态分区设置set hive.exec.dynamic.partition=true;(可通过这个语句查看：set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参...原创 2020-03-15 10:12:13 · 342 阅读 · 0 评论 -
hive 常见问题
hive 常见问题点击hive表时，hiveserver2 挂掉 out of memory原因 flume 导入的orc 格式 ，建表语句存储格式 textfile 不匹配导致修改方案 建表语句和hdfs格式一致即可建表时 乱码解决修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) chara...原创 2020-03-15 10:11:17 · 264 阅读 · 0 评论 -
sqoop 安装及使用
文章目录#sqoop学习笔记sqoop官方用户手册：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html简介： sqoop是工具，一个可以把ORACLE、MYSQL中的数据导入到HDFS、HIVE、HBASE中（反过来也可以）的工具。下面是一些使用的例子。##sqoop导入导出#从Mysql中抽取数据到HDFSsqoop impo...原创 2020-03-15 10:05:11 · 185 阅读 · 0 评论 -
spark安装配置
##spark安装下载spark2.2.0下载地址上传spark安装java参见jdk安装安装scalascala安装###安装hadoophadoop分布式安装解压tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0配置环境变量vi /etc/profile...原创 2020-03-15 10:03:02 · 263 阅读 · 0 评论 -
spark使用
文章目录spark sql如果在eclipse上直接调试先看一下WordCount的代码action操作#spark学习笔记##tipsspark sqlspark-sql --executor-memory 4G --total-executor-cores 20如果在eclipse上直接调试conf.setMaster("local");可以直接在本地调试 ;也可设置成本地模式...原创 2020-03-10 20:42:37 · 506 阅读 · 0 评论 -
hadoop使用
修复hdfs 受损的block检查hdfs block 是否因为租约问题无法读写hadoop fsck /user/hive/warehouse/ods_aquarius30.db/orderinfo/st_date=20171018 -openforwrite | egrep -v ‘^\.+$‘ | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]...原创 2020-03-10 20:32:22 · 82 阅读 · 0 评论 -
spark eclipse 环境配置
eclipse安装版本本是eclipse oxygen 也可以直接用去下scala 的eclipse 版本eclipse scala 插件安装help->eclipse market 搜索 scala 找到scala ide 插件 安装 重启hadoop util 安装github地址maven 包配置参照列子demo##其他配置Failed to locate...原创 2020-03-10 20:30:16 · 184 阅读 · 0 评论 -
flume安装配置
flume安装配置下载flumewget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz /opt/apache-flume-1.8.0-bin.tar.gzcd /opt/tar zxvf apache-flume-1.8.0-bin.tar.gzcd apache-flume-1.8....原创 2020-03-10 20:27:23 · 143 阅读 · 0 评论 -
pyspark streaming部署
/usr/hdp/2.6.2.0-205/spark-2.3.0-bin-hadoop2.7/bin/spark-submit --master yarn --deploy-mode cluster --executor-cores 1 --executor-memory 1608M --num-executors 2 --driver-cores 1 --driver-memory 1608M ...原创 2020-03-09 20:06:29 · 198 阅读 · 0 评论 -
streamset安装配置
下载streamset 安装包https://streamsets.com/tar xvzf streamsets-datacollector-core-3.4.0.tgzstreamsets-datacollector-3.4.0/bin/streamset dc出现的问题及解决方法linux内核修改（1）暂时性修改，只对当前终端有效$ ulimit -HSn 65536（2...原创 2020-03-06 22:35:46 · 1832 阅读 · 0 评论