lucky的专栏

架构图 写入流程 Hadoop 生态圈 来源 Google 的三篇论文: 谷歌有三宝 计算(MapReduce) 存储(GFS)和 大表(BIgtable) BigTable ---> HBase Hadoop DataBase 传统的关系型数据库 : Mysql Oracle 操作方式 : sql操作 什么叫做关系型数据库 : 基于关系模型提出来数据库,数据最终保存在一张二维表里面 HBase 是一个Nosql not only sql ...

  三个测试文件： 1  2  3  .txt hello tom1   ---tom30   最终生成分区文件： hello分布到part-r-00001上   采用随机分区 结果：hello随机分布 2阶mapreduce   结果： 解决了大数据量的数据倾斜 总结：两次mapreduce计算，第一次减少统计的数据量，目的是均匀分...

基于hadoop完全分布式基础上   1 克隆s200   为s206 配置： ---1 -----2 -----3   [/etc/sysconfig/network-scripts/ifcfg-ethxxxx]         ...         IPADDR=.. -----4 service network restart    2配置200   206完...

hadoop： master：s200 slave：s201 s202 s203 ---------------------------- zookeeper:  s201  202 203 ---------------------------- hbase master:s200 s201 region:s201 s202 s203   -------------------...

s201-s203 1安装配置环境变量： export STORM=/home/centos/soft/storm export PATH=$STORM/bin: 2配置文件修改： storm.local.dir: "/home/centos/storm" storm.zookeeper.servers: - "s202" - "s203" storm.zookeeper....

导入spark包 在项目页“File” -> "project structure" -> "Libraries", 点“+”，选“java”，找到spark-assembly-1.2.0-hadoop2.4.0.jar导入，这样就可以编写spark的scala程序了（例子有空补） 下载spark的jar包， 在下载页面选择相应的spark版本， 包类型这里选择spark1...

https://blog.csdn.net/u011444062/article/details/81486771

1 cd到bin目录下 进入scala命令行 ./spark-shell 2 拷贝README.md到bin目录下 3scala语句 val lines=sc.textFile("README.md") lines.count() 4 提取前三行 val lines3=lines.take(3) ...

pom： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="ht...

1 启动hdfs https://blog.csdn.net/ssllkkyyaa/article/details/86735817 2启动hive https://blog.csdn.net/ssllkkyyaa/article/details/86527365 s200启动hive $HIVE_HOME/bin/hive 3启动spark https://blog.csdn.n...

RDD变换 ------------------ 返回指向新rdd的指针，在rdd之间创建依赖关系。每个rdd都有计算函数和指向父RDD的指针。 map() //对每个元素进行变换，应用变换函数 //(T)=>...

           ----------------------------------------------------------------------------------------------------------------------- ----------------- ----------------- ----------------- -------------...

码上代码：   建立测试环境： 创建seq 序列化文件： /** * 写操作 */ @Test public void zipGzip() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS","fil...

1创建测试文件   home/centos/zip/a.txt 2 代码编写 package com.it18zhang.hdfs.mr.compress; import com.hadoop.compression.lzo.*; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IOUt...

https://blog.csdn.net/u013129944/article/details/78604651 ./stop-dfs.sh 注意只删掉tmp/hdf/data也可以： hadoop namenode -format   ./start-dfs.sh

1 建立index.html测试文件 vi index.html hello nihao helloworld hello world d d f g hallo world d d d 2 上传hadoop的hdfs上 hadoop fs=hdfs dfs hdfs dfs -mkdir -p /user/centos/hadoop hadoop fs -put index.html ...

1关闭防火墙 systemctl stop firewalld.service 2配置hdfs-site.xml &lt;?xml version="1.0"?&gt; &lt;configuration&gt; &lt;property&gt; &lt;name&gt;dfs.replication&lt;/name&gt; &lt;value&gt;1&lt;/value&a

新建项目： 导入libs：再hadoop解压下的库 2.7.2： https://download.csdn.net/download/ssllkkyyaa/10758406   文件api测试： package com.example.demo; import org.apache.commons.io.output.ByteArrayOutputStream; import o...

1 建立项目 链接：https://pan.baidu.com/s/15yZQLMqnXFDsbJ_61iXAGw  提取码：44fh  复制这段内容后打开百度网盘手机App，操作更方便哦 下载见附件： https://download.csdn.net/upload/success 导出jar：   HdfsDemo-1.0-SNAPSHOT.jar   2 建立测试1.txt ...

grant all privileges on *.* to root@'%' identified by 'passwd';   将数据库赋予权限    

hive ------------------     在hadoop处理结构化数据的数据仓库。     不是:    关系数据库             不是OLTP             实时查询和行级更新。 hive特点 ----------     hive存储数据结构(schema)在数据库中,处理的数据进入hdfs.     OLAP     HQL / HiveQL hiv...

链接：https://pan.baidu.com/s/12b8Ef7Tem7WsMchCJbWFTw  提取码：ja19  复制这段内容后打开百度网盘手机App，操作更方便哦     坑：org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 原因：是你的ha...

 1.克隆3台client(centos7)         右键s200--&gt;管理-&gt;克隆-&gt; ... -&gt; 完整克隆     2.启动client     3.启用客户机共享文件夹。     4.修改hostname和ip地址文件 https://blog.csdn.net/ssllkkyyaa/article/details/83410871   ssh...

https://www.cnblogs.com/edisonchou/p/4297599.html   实例： 链接：https://pan.baidu.com/s/1qeryRGn2oyXeyLSqabKBBA  提取码：5wia  复制这段内容后打开百度网盘手机App，操作更方便哦   关键代码： package com.example.demo.mapred; import ...

https://blog.csdn.net/qq_33530388/article/details/72811705   外网访问 iptables -t nat -A  DOCKER -p tcp --dport 50070 -j DNAT --to-destination 172.17.0.3:50070    ------------------------------------...