自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

转载 Navicat连接不上MySQL

内容参考网上的文章,此处只做记录。一.can‘t connect to MySql server on ‘192.168.X.X’这是因为mysql端口被防火墙拦截,需用linux执行如下指令:1.#/sbin/iptables -I INPUT -p tcp --dport 3306 -j ACCEPT2.#/etc/rc.d/init.d/iptables sa

2018-02-01 15:47:30 756

原创 vim只能读不能写解决办法

在vi/vim编辑器进入冒号,然后输入以下命令 %! sudo tee % > /dev/null此时会提示输入sudo用户的密码如果切换成功后,会提示以下信息,此时,输入大写L键4文件保存成功后,直接输入:q就可以退出

2018-01-31 16:35:57 1827

原创 FileSplit简单使用

hadoop的FileSplit简单使用FileSplit类继承关系:FileSplit类中的属性和方法:作业输入:[java] view plain copy print?hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/lib

2018-01-30 14:11:46 10132

转载 众所周知,Hadoop框架使用Mapper将数据处理成一个个的key/value键值对,在网络节点间对其进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿

众所周知,Hadoop框架使用Mapper将数据处理成一个个的key/value键值对,在网络节点间对其进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输(网络带宽严重被占降低程序效率),所有数据都经过reduce处理,造成Reducer的巨大压力,从而大大降低程序的性能。    

2018-01-29 08:58:30 4795

原创 Combiner Partitioner Shuffle

 众所周知,Hadoop框架使用Mapper将数据处理成一个个的key/value键值对,在网络节点间对其进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输(网络带宽严重被占降低程序效率),所有数据都经过reduce处理,造成Reducer的巨大压力,从而大大降低程序的性能。   

2018-01-29 01:03:43 943

原创 MapReduce

MapReduce是一种编程模型,用于大规模数据集的并行运算。概念”Map(映射)”和”Reduce(归约)”,是它们的主要思想,。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值),指定并发的Reduce(归约)函数,用来

2018-01-28 01:56:14 793

w078.ini

w078.ini

2022-11-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除