![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
PeppaKing
这个作者很懒,什么都没留下…
展开
-
[hadoop][Azkaban]#2_Two-Server mode
https://azkaban.readthedocs.io/en/latest/getStarted.html#getting-started-with-the-multi-executor-server原创 2020-01-21 20:18:25 · 96 阅读 · 0 评论 -
[hadoop][Azkaban]#1_azkaban快速入门
Dependency作业# foo.jobtype=commandcommand=echo foo# bar.jobtype=commanddependencies=foocommand=echo bar2个文件打包为ziphdfs作业# hdfs.jobtype=commandcommand=hadoop fs -ls /打包为zipmapreduce作业# ...原创 2020-01-21 12:44:53 · 152 阅读 · 0 评论 -
[hadoop][Azkaban]#0_azkaban环境搭建
编译安装在github下载源码包./gradlew build installDist为加快编译,将gradle-4.6-all.zip放在/root/Downloads/azkaban-3.81.0/gradle/wrapper中,在gradle-wrapper.properties修改distributionUrl将azkaban-solo-server/build/distribu...原创 2020-01-21 10:32:24 · 111 阅读 · 0 评论 -
[hadoop][hbase]#51_hbase_shell
bin/hbase shellDDL查看版本> version查看状态> status建表> create craete "namespace:表名","family column","family column"看表列表> list看表详细信息> describe 't1'改表> alter 'namespace:表名', '列族', {NAM...原创 2019-12-30 21:56:36 · 87 阅读 · 0 评论 -
[hadoop][redis]#74_jedis
<!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> &...原创 2019-12-29 14:06:11 · 67 阅读 · 0 评论 -
[hadoop][zookeeper]#50_zookeeper安装
下载解压配置环境变量cp zoo_example.cfg zoo.cfgvi zoo.cfgdataDir=/usr/tmp/zookeeperzkServer.shzkCli.sh原创 2019-06-13 19:08:56 · 57 阅读 · 0 评论 -
[hadoop][hbase]#50_hbase安装部署
伪分布式首先要开启hadoop$ start-dfs.sh$ start-yarn.sh下载 http://mirror.bit.edu.cn/apache/hbase/hbase-1.2.12/hbase-1.2.12-bin.tar.gz 并解压配置文件hbase-1.2.12/conf/hbase-site.xml<configuration>...原创 2019-05-28 16:50:43 · 95 阅读 · 0 评论 -
[hadoop][redis]#72_redis持久化
RDBredis/redis.confsave 900 1 #900秒1次修改save 300 10save 60 10000#触发一次则保存,并且计时器计数器清0...dbfilename dump.rdb #rdb名dir ./ #保存路径AOFredis/redis.confappendonly no #默认no,启用yesappend...原创 2019-05-27 21:39:24 · 84 阅读 · 0 评论 -
[hadoop][redis]#73_others
keys通用keys *del k1 k2 k3type k1exists k1rename k1 mykeyexpire mykey 1000 #设置超时时间ttl mykey #显示剩余时间多数据库select 0 #选择0号(当前的)数据库move mysey 1 #将此key移至1号数据库事务multiincr numexecmulti...原创 2019-05-27 21:16:35 · 104 阅读 · 0 评论 -
[hadoop][redis]#71_redis数据类型
字符串set company imoocget companygetset company baidu #得到旧值并获得新值del companyincr num #num++,未set则默认值为0decr num #num--incrby num 5 #num+5decrby num 5 #num-5append num 5 #num*10+5哈希hset ...原创 2019-05-27 20:44:33 · 293 阅读 · 0 评论 -
[hadoop][redis]#70_redis环境搭建
首先要有gcc编译安装$ wget http://download.redis.io/releases/redis-5.0.5.tar.gz$ tar xzf redis-5.0.5.tar.gz$ cd redis-5.0.5$ make启动$ src/redis-server$ src/redis-cli原创 2019-05-27 18:43:58 · 107 阅读 · 0 评论 -
[hadoop]#12_hadoop环境搭建(伪分布式)
虚拟机设置这里使用centos6@Fusion网络设置NAT。记下MAC地址在本地 vi /Library/Preferences/VMware Fusion/vmnet8添加host node00 { hardware ethernet 00:50:56:20:E3:9E; fixed-address 192.168.106.100;}重启虚拟机在虚拟机nod...原创 2019-05-11 11:35:13 · 98 阅读 · 0 评论 -
[hadoop][hive]$40_hive环境配置
下载hive hive.apache.org/etc/profileexport HADOOP_HOME=/usr/local/hadoopexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HIVE_HOME/binexport PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/...原创 2019-05-07 10:51:10 · 99 阅读 · 0 评论 -
[hadoop][mr]$31_java开发mr
配置HADOOP_HOMEnew project,加入hadoop需要的jar原创 2019-05-07 09:31:18 · 68 阅读 · 0 评论 -
[hadoop][mr]$30_配置yarn和map/reduce
namenode配置mapred-site.xml<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>yarn-site.xml配置<property> <name>yarn...原创 2019-05-06 16:28:17 · 105 阅读 · 0 评论 -
[hadoop][hdfs]$20_hdfs基本配置
修改冗余hdfs-site.xml:<configuration><property> <name>dfs.replication</name> <value>2</value></property></configuration>stop-dfs,star...原创 2019-05-06 13:31:22 · 82 阅读 · 0 评论 -
[hadoop][hdfs]$21_hdfs基本操作
[root@master hadoop]# hadoop fs -ls /[root@master local]# hadoop fs -put mabibi.mkv /原创 2019-05-06 13:27:30 · 86 阅读 · 0 评论 -
[hadoop]#11_hadoop环境搭建(全分布式)
全分布式在所有虚拟机的/usr/local/hadoop/etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>...原创 2019-05-05 15:40:34 · 56 阅读 · 0 评论 -
[hadoop]#0_集群环境创建
在这里使用 virtualbox在虚拟机中选用网络 host-only网络属性vboxnet0的ip设置为192.168.56.1安装系统,这里使用centos6vi /etc/sysconfig/networkNETWORKING=yes GATEWAY=192.168.56.1vi /etc/sysconfig/network-sripts/ifcfg-enp0s3TYPE=Et...原创 2019-05-04 20:17:44 · 58 阅读 · 0 评论