HaDoop
文章平均质量分 72
AngusDavis
这个作者很懒,什么都没留下…
展开
-
HaDoop_Pig_Store格式
PigStorage 默认情况 对应使用制定分隔符分割的文本格式,默认为 tab BinStorage map/reduce job 的存储方式,用户也可以使用(可以 load 也可以 store),builtin; JsonLoader/JsonStorage 前者需要指定 schema,builtin TextLoader 用来读入文本转载 2017-09-07 17:01:01 · 625 阅读 · 0 评论 -
HaDoop_Kafka_常用命令
以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-j转载 2017-09-08 09:22:42 · 316 阅读 · 0 评论 -
HaDoop_分布式集群搭建(zookeeper,hadoop)
注意:apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等原创 2017-09-11 15:31:29 · 410 阅读 · 0 评论