大数据
yskkysll_csdn
这个作者很懒,什么都没留下…
展开
-
Redis
Redis Redis中大小写不敏感 全称:remote dictionary server 人物:Salvatore Sanfilippo 服务端:src/redis-service 客户端:src/redis-cli 默认配置文件:redis.conf 下载: wget http://download.redis.io/releases/redis-3.0.4原创 2018-02-05 17:15:14 · 127 阅读 · 0 评论 -
Spark
Spark 版本如下: hadoop 2.6.1 spark 2.1.0 scala 2.11.8 安装 下载 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.6.tgz tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz 配置环境...原创 2018-03-12 23:16:10 · 174 阅读 · 0 评论 -
Pig Hive MySql Mohout HBase Flume Chukwa
Pig 安装 下载 http://mirrors.aliyun.com/apache/pig/pig-0.17.0/ 解压 tar -zxvf pig-1.17.0.tar.gz 设置环境变量 vim /etc/profile export PIG_HOME=/app/pig-0.17.0 export PIG_CLASSPATH=/hadoop-1.1.2/conf ...原创 2018-03-05 12:21:24 · 197 阅读 · 0 评论 -
hadoop 实例
wordcount类 在hadoop-1.1.2/hadoop-examples-1.1.2.jar中 命令 mkdir input .. vim /input/test //文件中内容: /** * hello hadoop * fine fine hello ...原创 2018-03-05 11:00:18 · 242 阅读 · 0 评论 -
Hadoop
Hadoop Zookeeper 分布式写作服务 HBse 实时分布式数据库 Hive 数据仓库 Pig 数据流处理 Mahout 数据挖掘库 MapReduce 分布式计算框架 HDFS 分布式文件系统 Flume 日志收集工具 Sqoop 数据库ETL工具Hadoop 单机模式;为分布模式;完全分布式模式; 伪分布式安装 vim /etc/sysconfig/network /...原创 2018-02-25 13:43:36 · 187 阅读 · 0 评论 -
hadoop生态实战所遇到的问题
JAVA远程连通flume和kafka flume avro source的远程连接 •报错如下: Exception in thread “main” org.apache.flume.FlumeException:NettyAvroRpcClient{ host:xxxx,port:xxxx}:RPC connection error 把flume/conf/flume-kafka....原创 2018-03-11 15:58:42 · 422 阅读 · 0 评论 -
Zookeeper
Zookeeper 保证数据一致性和高可用性; tar -zxvf zookeeper-3.4.10.tar.gz vi zoo.cfg tickTime = 2000 dataDir = clientPort = 2181 initLimit = 5 syncLimit = 2 zkServer.sh start zkServer.sh ...原创 2018-03-01 14:25:50 · 127 阅读 · 0 评论 -
Kafka
# 应用 日志收集 行为追踪 持久性日志 Topics包含多个 partition 安装 集群方式:单节点单 broker,单节点多 broker,多节点多 broker。 提前需要安装hadoop; 下载 wget http://labfile.oss.aliyuncs.com/courses/785/kafka_2.10-0.8.1.1.tgz 单节点单...原创 2018-03-08 09:57:29 · 177 阅读 · 0 评论 -
HBase
Hadoop 组件,运行与hdfs之上 Powerset公司 行键 时间戳 列族 表和区域 单元格 伪分布式安装 下载 wget http://labfile.oss.aliyuncs.com/hbase-0.98.11-hadoop2-bin.tar.gz 解压 tar -zxvf hbase-0.98.11-hadoop2-bin.tar.gz 配...原创 2018-03-07 10:01:55 · 154 阅读 · 0 评论 -
Scala
Scala 是一门多范式的编程语言。设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 目的时面向对象又面向函数; Scala在windows安装 http://www.scala-lang.org/download/官网下载scala-2.12.4.msi,双击安装;选择安装位置,默认安装即可。 设置环境变量: 新增:SACAL_HO...原创 2018-02-21 18:10:06 · 169 阅读 · 0 评论 -
MongoDB
多个集合(表),多个文档(记录) 基本命令 启动 sudo service mongodb start mongo 进入 exit 退出 命令 show dbs db use db.dropDatabase() 销毁 use 表名 创建表 db.createCollection(name,option) 创建集合 option可选 show collections原创 2018-02-02 16:53:55 · 129 阅读 · 0 评论 -
Centos6.5中编译hadoop2.x 并安装 运行wordCount
下载安装包: http://mirror.bit.edu.cn/apache/maven/maven-3/3.0.5/binaries/ 解压: tar -zxvf apache-maven-3.0.5-bin.tar.gz 设置环境变量 export MAVEN_HOME=/app/lib/apache-maven-3.0.5 export PATH=$P...原创 2018-03-06 17:10:40 · 146 阅读 · 0 评论