- 博客(11)
- 收藏
- 关注
RSS订阅原创 Nginx
Nginx 下载 wget -c http://nginx.org/download/nginx-1.10.3.tar.gz /usr/local/src groupadd nginx useradd -g nginx -M nginx 不为nginx建立home目录 vim /etc/passwd 修改nginx:x:1001:1001::/hom...
2018-03-14 14:29:30
193
原创 Spark
Spark 版本如下： hadoop 2.6.1 spark 2.1.0 scala 2.11.8 安装 下载 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.6.tgz tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz 配置环境...
2018-03-12 23:16:10
178
原创 hadoop生态实战所遇到的问题
JAVA远程连通flume和kafka flume avro source的远程连接 •报错如下： Exception in thread “main” org.apache.flume.FlumeException:NettyAvroRpcClient{ host:xxxx,port:xxxx}:RPC connection error 把flume/conf/flume-kafka....
2018-03-11 15:58:42
427
原创 Kafka
# 应用 日志收集 行为追踪 持久性日志 Topics包含多个 partition 安装 集群方式：单节点单 broker，单节点多 broker，多节点多 broker。 提前需要安装hadoop; 下载 wget http://labfile.oss.aliyuncs.com/courses/785/kafka_2.10-0.8.1.1.tgz 单节点单...
2018-03-08 09:57:29
178
原创 HBase
Hadoop 组件，运行与hdfs之上 Powerset公司 行键 时间戳 列族 表和区域 单元格 伪分布式安装 下载 wget http://labfile.oss.aliyuncs.com/hbase-0.98.11-hadoop2-bin.tar.gz 解压 tar -zxvf hbase-0.98.11-hadoop2-bin.tar.gz 配...
2018-03-07 10:01:55
159
原创 Centos6.5中编译hadoop2.x 并安装 运行wordCount
下载安装包： http://mirror.bit.edu.cn/apache/maven/maven-3/3.0.5/binaries/ 解压： tar -zxvf apache-maven-3.0.5-bin.tar.gz 设置环境变量 export MAVEN_HOME=/app/lib/apache-maven-3.0.5 export PATH=$P...
2018-03-06 17:10:40
151
原创 Pig Hive MySql Mohout HBase Flume Chukwa
Pig 安装 下载 http://mirrors.aliyun.com/apache/pig/pig-0.17.0/ 解压 tar -zxvf pig-1.17.0.tar.gz 设置环境变量 vim /etc/profile export PIG_HOME=/app/pig-0.17.0 export PIG_CLASSPATH=/hadoop-1.1.2/conf ...
2018-03-05 12:21:24
206
原创 hadoop 实例
wordcount类 在hadoop-1.1.2/hadoop-examples-1.1.2.jar中 命令 mkdir input .. vim /input/test //文件中内容： /** * hello hadoop * fine fine hello ...
2018-03-05 11:00:18
266
原创 Maven
groupid : 域 （cn -China、org-非营利组织、com-商业组织） 组织 （如：ali） 子项目 (项目名称) artifactid : 1.子项目
2018-03-01 17:11:34
122
原创 Zookeeper
Zookeeper 保证数据一致性和高可用性； tar -zxvf zookeeper-3.4.10.tar.gz vi zoo.cfg tickTime = 2000 dataDir = clientPort = 2181 initLimit = 5 syncLimit = 2 zkServer.sh start zkServer.sh ...
2018-03-01 14:25:50
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人