2018年09月_云游遍天下

12月 10月 09月 08月 07月 06月 03月 02月 01月

原创 hadoop入门4：Map实现Join逻辑，无需要使用reducer

在hadoop入门3里，用订单和产品进行关联，用map+reducer实现join逻辑，但是这种使用，小数据下还好，但是一旦出现海量数据，会出现reduce处理任务严重不平衡，有的reduce很轻松，有的reduce很繁忙，也就是数据倾斜；因此去掉reduce这一步，直接在map完成join，需要在map完成join过程，势必需要在每个map task里获取产品信息(产品信息是小部分，可以在放...

2018-09-29 22:05:09 459

转载 win10 激活

记录一位活雷锋的解决方法：管理员运行cmd，然后输入slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX用这个升级专业版。再从命令行中输入这样一行：slmgr.vbs -skms zh.us.to slmgr /ato最后从设置里激活，输入上面的密码就可以了，，，...

2018-09-26 21:48:34 429

原创 hadoop入门3：MR实现Join逻辑

如果看详细的代码模板，请看我的hadoop入门1里有详细的模板，也有详细的解释今天用两组数据进行join；其实数据很简单，订单表： id 日期产品id 数量 1001 20180923 a001 21002 20180923 a002 11003 20180923 ...

2018-09-23 21:28:21 407 1

原创 hadoop入门2：hadoop的自定义Writeable 、排序和 reduce输出多个文件

mr原理图： mp本次用计算每个手机号对应的上行和下行、总流量的业务进行测试原始数据：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.8i02.c.aliimg.com 24 27 2481 24681 2001363157995052 1...

2018-09-22 17:23:41 922

原创 hadoop入门1：MapReduce 入门demo - wordcont

今天初次接触MapReduce，虽然目前很少有人用MR，但是我相信这块还是要学一下的，因为这块思想会影响后面的学习。第一个demo也是最经典的wordcount，wordcount基本上涵盖了80%的hadoop业务，适合入门；后面写的播客将不会进行多余的解释，模板基本上和wordcount一样，只是业务一样而已mapper：import java.io.IOException;...

2018-09-13 20:39:31 1079

原创 IOS 自带输入法接收汉字触发事件

今天做了一个录入信息的，客户通过扫码跳转到信息录取界面，支持微信、浏览器扫码方式，录取有几个下拉框，下拉框支持模糊查询；安卓端模糊查询是正常的，但是ios端有一个现象，ios用自带的输入法时，输入汉字时，汉字还未出现，就会立即把汉字字母触发查询，其实这样也能接受，关键是选中汉字时事件就不触发了，这个就可悲了，通过网上搜索解决方法，现在给出解决方案：代码： //用于标记是否是输...

2018-09-07 10:44:45 2473

原创 shell 脚本编写log日志定时上传HDFS代码

#!/bin/bash#set java envexport JAVA_HOME=/usr/app/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop e...

2018-09-05 21:00:03 582 1

HIVE安装及详解

HIVE安装及详解，及测试，该文档版本是1.2+的。。。。。

2018-10-14

hadoop高可用搭建文档

hadoop高可用搭建文档，搭建成功，适用于生产环境，如果高版本，需要对应修改修改即可

2018-10-10

postman-win版

postman安装即可。。。。。。。。。。。。postman安装即可

2018-03-09

AES+RSA加解密demo

抱歉了，我是没有积分了，需要赚点资源分，抱歉了各位，有问题联系我

2018-02-05

RSA+AES加密demo

RSA+AES加密demo，该demo是RSA加密AES的key，AES的key是动态生成，这样加密程度大大提高

2017-12-22

RSA加密demo

RSA加密demo，有测试，放到项目里改造下就可以使用了

2017-12-22

spring-tool-suite-3.7.3.RELEASE-e4.5.2-win32-x86_64

spring-tool-suite-3.7.3.RELEASE-e4.5.2-win32-x86_64 支持jdk1.7，同时文档里给出了其他版本的官方下载地址

2017-12-18

mybatis逆向生产工具，解压导入开发工具里，修改generatorConfig.xml数据库连接和表名即可

mybatis逆向生产工具，解压导入开发工具里，修改generatorConfig.xml数据库连接和表名即可，运行GeneratorSqlMap的main方法就可以了，，

2017-12-04

图片批量导入oracle数据库

图片批量导入数据库（这里可以死mysql、或者oracle，只需把驱动换掉即可）没有界面，指定目录即可，例如：d:下的photo下有许多图片，直接把D：\pthoto,路径放进既可

2016-04-24

webserver客户端代码，天气预报，电话号码归属地，ip，邮政

为了兼容jdk1.6,我把features变量给删除了，如何你的jdk是1.7的你可以添加上即可 //compliant code instead. public IpAddressSearchWebService(WebServiceFeature... features) { super(WSDL_LOCATION, SERVICE,features); } //This constructor requires JAX-WS API 2.2. You will need to endorse the 2.2 //API jar or re-run wsdl2java with "-frontend jaxws21" to generate JAX-WS 2.1 //compliant code instead. public IpAddressSearchWebService(URL wsdlLocation, WebServiceFeature... features) { super(wsdlLocation, SERVICE,features); } //This constructor requires JAX-WS API 2.2. You will need to endorse the 2.2 //API jar or re-run wsdl2java with "-frontend jaxws21" to generate JAX-WS 2.1 //compliant code instead. public IpAddressSearchWebService(URL wsdlLocation, QName serviceName, WebServiceFeature... features) { super(wsdlLocation, serviceName,features); }

2016-01-19