hadoop
Lee_Suoer
这个作者很懒,什么都没留下…
展开
-
hdfs集群搭建
先安装好jdk,三台机器配置好无密登录, namenode机器还要配置自己对自己的无密登录,再在环境变量中添加配置:export HADOOP_PREFIX=/home/lishuo/app/hadoop-2.7.1export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbinexport HADOOP_COMMON_HOME=$HADO...原创 2019-04-11 11:24:23 · 338 阅读 · 0 评论 -
hadoop 单机
hadoop解压之后:修改hadoop/etc/hadoop 下的配置文件:修改hadoop-env.sh 添加JAVA_HOME 路径修改core-site.xml;<property> <name>fs.defaultFS</name> <value>hdfs://had...原创 2019-04-16 10:25:35 · 182 阅读 · 0 评论 -
hbase HA
解压缩hbase的安装包,进入conf目录下。先将hadoop的hdfs-site.xml和core-site.xml 配置文件放到 conf目录下修改配置文件 hbase-env.sh要使用外部的zk配置java的路径修改hdfs-site.xml<configuration><property> <n...原创 2019-04-26 12:59:08 · 385 阅读 · 0 评论 -
storm
解压 storm 修改配置文件 storm.yaml之后就可以到bin目录下启动了启动storm在nimbus主机上nohup ./storm nimbus 1>/dev/null 2>&1 &nohup ./storm ui 1>/dev/null 2>&1 &在supervisor主机上nohup ./s...原创 2019-04-26 14:47:08 · 416 阅读 · 0 评论 -
hadoop HA搭建
一共七台服务器hadoop01 -- NameNode、DFSZKFailoverController(zkfc)hadoop02-- NameNode、DFSZKFailoverController(zkfc)hadoop03-- ResourceManagerhadoop02-- ResourceManagerhadoop02-- DataNode、NodeMana...原创 2019-04-23 17:59:12 · 213 阅读 · 0 评论 -
hadoop mr
先编写MapReduce程序(对文本数据统计)。//4个泛型中,前两个是指定mapper输入数据的类型,KEYIN是输入的key的类型,VALUEIN是输入的value的类型//map 和 reduce 的数据输入输出都是以 key-value对的形式封装的//默认情况下,框架传递给我们的mapper的输入数据中,key是要处理的文本中一行的起始偏移量,这一行的内容作为valuepub...原创 2019-04-20 14:40:33 · 268 阅读 · 0 评论 -
hive
给hive配置mysql在 hive/conf 目录下hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop01:3306/hive?createDatab...原创 2019-04-25 13:49:52 · 286 阅读 · 0 评论