- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka: 分布式消息系统
要点：什么是kafka, 使用场景有哪些 kafka优缺点 如何使用kafka（ shell接口， java api ）point1: 简介1, Kafka是一个分布式发布-订阅消息系统最初由LinkedIn公司开发，之后成为Apache项目的一部分 (Kafka是高吞吐量的，可分区的，冗余备份的，可插拔式扩展的，持久性的日志服务，主要用于处理活跃的流式数据）（ kaf...
2018-08-29 10:49:26
1916
1
原创 CDH安装: tar包+parcel
修改hdfs超级用户： rootcloudera安装hdfs后，默认的配置System User是hdfs, 修改root用户，重启会报错：/var/run/hdfs-sockets权限问题（由于是旧的用户占用了socket,所以删除就行）#java.io.IOException: the path component: '/var/run/hdfs-sockets' is owned ...
2018-08-28 22:21:48
3503
2
原创 sqoop：数据转换工具
要点如下：安装配置 关系型数据库<-->hadoop类型数据：互相转换 使用 sqoop job#测试jdbc连接sqoop list-databases --connect 'jdbc:mysql://localhost:3306' --username 'root' --password 123456#查询jdbc数据sqoop eval --connect j...
2018-08-20 20:24:43
1840
原创 hbase--jdbc编程
要点如下：(使用idea +maven)增、删、改数据 查询： 过滤器，比较器 协处理器： 模拟 'RMDB的触发器'第一步：准备好环境搭建好hdfs, hbase伪分布式或完全分布式 使用idea创建maven项目，在resources目录下： 导入依赖的配置文件（ core-site.xml, hdfs-site.xml, hbase-site.xml） pom.xml: ...
2018-08-15 21:39:43
1431
原创 zookpeer: ha配置
要点如下：zookeeper集群搭建 hdfs高可用（hdfs + zookeeper: zk管理namenode, 实现failover机制 ) 修改start-dfs.sh : 使得zk集群---- 先于 ---hdfs启动 hdfs集群“热备份”（zk + hdfs =ha)ha具体配置文件/etc/hosts192.168.56.111 s101192....
2018-08-07 22:09:56
610
原创 hive: 安装使用（metastore, top10, beeline,事务支持）
要点如下：如何安装hive, 使用hive (hive +mysql ) hive中： 如何建表（数据类型, 字段修改） hive中： 怎样向表中插入数据 hive 与mysql 的关系： mysql作为元数据存储容器 hive中： 有哪些查询语句，函数（wordcount, union, topk问题) hive 交互的jdbc接口： hiveserver2( java api............
2018-08-06 21:34:15
1404
原创 linux: 多个文件内容（交集，并集，补集，单词个数统计）
原文件如下：问题如下：统计两个文件中，单词频数 求出ip 的频数 求出两个文件的交集 求出文件b 和 (文件a 交集 文件b) 的补集1，统计单词频数2，统计ip频数3，求出两个文件的交集4，求出文件b (补集) （文件a 交集 文件b）...
2018-08-04 15:29:44
3147
原创 hadoop启动脚本篇
要点如下：脚本之间调用关系 脚本的具体内容hadoop启动脚本之间的调用关系：脚本的具体内容（简化后）1，start- all.sh# start hdfs daemons if hdfs is present "${HADOOP_HDFS_HOME}"/sbin/start-dfs.sh --config $HADOOP_CONF_DIR# start yarn...
2018-08-04 11:50:04
1182
原创 hadoop集群搭建篇（伪分布，完全分布）
要点如下：1，服务器搭建： virtualBox + Centos7 2, centos7: 网络配置 3，centos 上安装jdk, hadoop第一步： 安装centos, 配置网络我使用ubuntu16 桌面版， 安装virtualbox后，创建虚拟机： 添加centos7镜像文件点击 ‘start’， 开始安装centos7....安装完成后， 需要关机，c...............
2018-08-01 22:13:02
2993
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人