- 博客(9)
- 资源 (6)
- 收藏
- 关注
原创 Mapreduce中Mapper、Partition、Reducer数目的确定与关系
Mapper:由客户端分片情况决定,客户端获取到输入路径的所有文件,依次对每个文件执行分片,分片大小通过最大分片大小、最小分片大小、hdfs的blocksize综合确定,分片结果写入job.split提交给yarn,对每个分片分配一个Mapper,即确定了数目。 Partition:由PartitionerClass中的逻辑确定,默认情况下使用的HashPartitioner中使用了hash值与...
2018-07-31 23:14:24 4132
原创 Maven问题笔记
1、使用maven构建引用hadoop的jar包的项目时会出现该错误 解决方法是在pom.xml中加入 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</ver...
2018-07-22 14:29:35 176
转载 适合小白/外行的git与github最基础最浅显教程
首先声明,这是适合小白/外行/初学者/学生看的最基础最简单的git与github教程,已经能使用svn,git等工具的朋友请不要看这篇文章来浪费时间了。 想进一步学习git的,推荐去廖雪峰博客学习。 这是之前帮助几个外行的朋友写的最基础git教程,仅让他们理解基本概念,能够简单使用。当然教程写的也算用心,所以就重新整理一下放到博客上了。(其实主要是因为这段太忙了,没时间写新文章了,写一篇好的文章...
2018-07-19 14:47:13 368
转载 linux后台运行和关闭、查看后台任务
阅读目录一、&amp;二、ctrl + z三、jobs四、fg五、bg六、kill七、nohupfg、bg、jobs、&amp;、nohup、ctrl+z、ctrl+c&nbsp;命令 回到顶部一、&amp; 加在一个命令的最后,可以把这个命令放到后台执行,如 watch &nbsp;-n 10 sh &nbsp;test.sh &nbsp;&amp; &nbsp
2018-07-19 14:42:07 265
原创 修改maven源大幅提升下载速度
maven使用国外源下载jar包时速度极慢,应调整为国内源 在conf/setting.xml中加入以下两段 <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name>
2018-07-19 01:55:15 515
转载 Maven项目中修改jre版本
有时候建maven,开发过程中会突然发现jre版本过低不支持操作,会有“Change project complicate and JRE to 1.7”诸如此类的快速解决方案,但是当我们选择快捷方式或者项目右键-->Properties-->Project Facets 右边java 版本选项此类的解决方案解决后当再次选择 maven -> Update Project 更新的...
2018-07-15 18:01:04 4875
原创 mysql、hive常用查询
1、分组汇总并累计,累计问题都要使用不等条件的连接解决 -- 分组汇总并累计hive版(因为hive不支持不等条件的关联,且不在分组键的列必须聚合)select s2.nam,s2.mon,max(s2.sum1),SUM(s3.num) from(SELECT s1.nam,s1.mon,SUM(num) sum1 FROM xzq_temp s1 GROUP BY s1.nam,s1.mon...
2018-07-11 10:20:38 347
原创 mysql错误整理
1、ERROR! The server quit without updating PID file (/var/lib/mysql/zx105.pid).修改my.cnf后重启报该错误,可能是在配置中将一些选项设置成了未授权的文件夹,将这些新文件夹授权给mysql组的mysql用户即可sudo chown mysql:mysql -R /usr/mysql-log...
2018-07-10 16:52:14 140
原创 hadoop详解参考教程
Hadoop NameNode 高可用 (High Availability) 实现解析 https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/ hadoop2.x NameNode 的共享存储实现、切换 https://www.cnblogs.com/nucdy/p/5892179.html had...
2018-07-06 17:27:34 191
spark2.0编译版-适用于hive2.3的hive on spark
2018-09-26
chromedriver2.28文件(另附其他所有版本无须的下载地址)
2017-03-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人