2018年07月_奇妙探险家

12月 11月 10月 09月 08月 07月 05月 03月 02月 01月

原创 Mapreduce中Mapper、Partition、Reducer数目的确定与关系

Mapper：由客户端分片情况决定，客户端获取到输入路径的所有文件，依次对每个文件执行分片，分片大小通过最大分片大小、最小分片大小、hdfs的blocksize综合确定，分片结果写入job.split提交给yarn，对每个分片分配一个Mapper，即确定了数目。Partition：由PartitionerClass中的逻辑确定，默认情况下使用的HashPartitioner中使用了hash值与...

2018-07-31 23:14:24 3987

原创 Maven问题笔记

1、使用maven构建引用hadoop的jar包的项目时会出现该错误解决方法是在pom.xml中加入<dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</ver...

2018-07-22 14:29:35 169

转载适合小白/外行的git与github最基础最浅显教程

首先声明，这是适合小白/外行/初学者/学生看的最基础最简单的git与github教程，已经能使用svn，git等工具的朋友请不要看这篇文章来浪费时间了。想进一步学习git的，推荐去廖雪峰博客学习。这是之前帮助几个外行的朋友写的最基础git教程，仅让他们理解基本概念，能够简单使用。当然教程写的也算用心，所以就重新整理一下放到博客上了。(其实主要是因为这段太忙了，没时间写新文章了，写一篇好的文章...

2018-07-19 14:47:13 349

转载 linux后台运行和关闭、查看后台任务

阅读目录一、&amp;二、ctrl + z三、jobs四、fg五、bg六、kill七、nohupfg、bg、jobs、&amp;、nohup、ctrl+z、ctrl+c&nbsp;命令回到顶部一、&amp;加在一个命令的最后，可以把这个命令放到后台执行，如watch &nbsp;-n 10 sh &nbsp;test.sh &nbsp;&amp; &nbsp

2018-07-19 14:42:07 249

原创修改maven源大幅提升下载速度

maven使用国外源下载jar包时速度极慢，应调整为国内源在conf/setting.xml中加入以下两段 <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name&gt

2018-07-19 01:55:15 499

转载 Maven项目中修改jre版本

有时候建maven，开发过程中会突然发现jre版本过低不支持操作，会有“Change project complicate and JRE to 1.7”诸如此类的快速解决方案，但是当我们选择快捷方式或者项目右键-->Properties-->Project Facets 右边java 版本选项此类的解决方案解决后当再次选择 maven -> Update Project 更新的...

2018-07-15 18:01:04 4838

原创 mysql、hive常用查询

1、分组汇总并累计，累计问题都要使用不等条件的连接解决 -- 分组汇总并累计hive版（因为hive不支持不等条件的关联，且不在分组键的列必须聚合）select s2.nam,s2.mon,max(s2.sum1),SUM(s3.num) from(SELECT s1.nam,s1.mon,SUM(num) sum1 FROM xzq_temp s1 GROUP BY s1.nam,s1.mon...

2018-07-11 10:20:38 333

原创 mysql错误整理

1、ERROR! The server quit without updating PID file (/var/lib/mysql/zx105.pid).修改my.cnf后重启报该错误，可能是在配置中将一些选项设置成了未授权的文件夹，将这些新文件夹授权给mysql组的mysql用户即可sudo chown mysql:mysql -R /usr/mysql-log...

2018-07-10 16:52:14 122

原创 hadoop详解参考教程

Hadoop NameNode 高可用 (High Availability) 实现解析https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/hadoop2.x NameNode 的共享存储实现、切换https://www.cnblogs.com/nucdy/p/5892179.htmlhad...

2018-07-06 17:27:34 179