2016年10月_IT菜籽U

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 sqoop导出到mysql中文乱码问题总结、utf8、gbk

今天使用sqoop1.4.5版本的（hadoop使用cdh5.4）因为乱码问题很是头痛半天。下面进行一一总结命令：[root@sdzn-cdh01 etc]# sqoop export --connect "jdbc:mysql://192.168.200.40:3306/otherdb?useUnicode=true&characterEncoding=utf-8" -m 1 --us

2016-10-27 18:32:22 15174

转载 Starting MySQL...The server quit without updating PID file [FAILED]cal/mysql/data/sdzn-cdh02.zhiyoub

转载：http://blog.csdn.net/testcs_dn/article/details/39079763，感谢原博主。[root@sdzn-cdh02 mysql]# /etc/init.d/mysql startStarting MySQL...The server quit without updating PID file [FAILED]cal/mysql/data

2016-10-27 14:02:40 8511 1

转载 Error: java.io.IOException: java.sql.SQLException: Incorrect string value: '\xE4\xBA\xBA ' for colum

转载：http://blog.csdn.net/wangchangshuai0010/article/details/12714575，感谢愿博主提供解决方案使用MySQL，用Java程序往mysql中写数据，出现如下错误：Error: java.io.IOException: java.sql.SQLException: Incorrect string value: '\xE4

2016-10-27 13:05:55 3504

转载 sqoop导入导出数据（cdh版）

前置条件已经成功安装配置Hadoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。下载sqoop和Mysql的JDBC驱动sqoop-1.2.0-CDH3B4.tar.gz ：http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gzmysql-connector-java-

2016-10-26 19:07:59 5892

原创 hive 数据倾斜实际问题中总结

1.数据倾斜原因a.大表（2.8G）与小表关联（580K）b.大表（2.8G）与大表（3.0G）关联首先谈论大表与小表的关联导致数据倾斜问题实例如下：大表数据格式：小表数据格式：关联语句hive>select * from report_tour_spot_detail s join report_tour_msg_detail r

2016-10-25 13:16:14 3665

转载程序员老了怎么办

长期从事编程活动的程序员都期望在50多岁时能爬到一个足够高的职位，或者能顺利的退休。　　但我在这里讨论的可能是一个你还没有想过的问题：如果到那时你失业了呢?　　　　50多岁时你的职业仕途会成为一个问题。如果你有很好的技术，有人雇你，你会有一个很高的职衔，或你是一个专家，或有很好的人际关系，你都有可能找到一个新的职务。　　否则，你会从衣食无忧沦落为无家可归。这是真的。

2016-10-24 16:26:38 3276 1

原创 hive中select中DISTINCT的技巧和使用

以下是转载内容单表的唯一查询用：distinct多表的唯一查询用：group by在使用MySQL时，有时需要查询出某个字段不重复的记录，虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重复记录的所有值。其原因是distinct只能返回它的目标字段，而无法返回其它字段，用distinct不能解决的话，

2016-10-24 13:48:25 46656

转载 Error: GC overhead limit exceeded解决之道

前提：运行MR的硬件环境必须满足，本人的i7处理器，8G内存。在执行2000W数据，（大表和小表关联）如图所示CPU的情况：瞬时CUP达到99%，内存占用率70%。eclipse中mp任务异常http://blog.csdn.net/xiaoshunzi111/article/details/52882234 i have a problem when r

2016-10-22 10:20:01 10435 1

转载 java.lang.OutOfMemoryError: GC overhead limit exceeded

JVM 调优，首先应从内存开始，尤其是在真正的的web服务部署的时候。因为真正的web服务会比开发的时候花费更多的内存，用来处理多用户并发的情况。本人多次吃过这方面的亏，所以整理一下，希望能给别人以帮助。这个年头变啦，内存变得如大白菜，每个新装的机器都2G以上的内存，甚至4G，也不是什么新闻。而软件‘吃’内存的情况则变化不大（除了VIsta）。但 JAVA诞生的时候可不是这样—

2016-10-21 12:47:19 8563

转载 Could not find output/file.out in any of the configured local directories

转载：http://blog.pureisle.net/archives/1785.html十二、如果遇到如下错误：FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里边出现了不允许出现的字符，比如

2016-10-19 09:51:04 1041

原创 Rorr:Operation category READ is not supported in state standy

异常来源，集群更新后再eclipse中不能访问hdfs中文件异常如；Rorr:Operation category READ is not supported in state standy解决方案：1.更新mapreduce中制定的cdh装在包如图本人采用的利用第三方文件传输平台简写FZ将cdh从Linux考到window下。二：查看新的hdfs端口；Linux如图

2016-10-18 14:55:45 1056

转载 mysql二进制日志(bin-log)配置及相关操作

转载：http://yagetang.blog.51cto.com/1780698/16702361.开启bin-log(1)在my.con配置文件里面[mysqld] #选项添加log-bin=mysql-bin #日志文件名称，未指定位置，默认数据文件位置重启mysql服务log_bin是生成的bin-log的文件名，

2016-10-14 16:37:57 9298 2

转载 MySQL用户授权和 bin-log日志详解和实战

一、平台环境centos6.5、MySQL5.6.22。首先当然是要有自己的环境，我是在虚拟机上去模拟实验的，因为MySQL要实现主从复制，所以需要两个服务器环境，所以在虚拟机中，你可以克隆一份一模一样的服务器，如下图：我这里的服务器里已经提前安装好MySQL了，这里我就不演示去安装环境了。这里我已经正常进入两个服务器，然后启动了MySQL。（要是这些操作过程不懂，可以留言

2016-10-14 16:34:36 2793

转载 DOC命令，Telnet的使用详细介绍

什么是Telnet？　　对于Telnet的认识，不同的人持有不同的观点，可以把Telnet当成一种通信协议，但是对于入侵者而言，Telnet只是一种远程登录的工具。一旦入侵者与远程主机建立了Telnet连接，入侵者便可以使用目标主机上的软、硬件资源，而入侵者的本地机只相当于一个只有键盘和显示器的终端而已。　　为什么需要telnet？　　telnet就是查看某个端口是否可访问。我们在

2016-10-13 12:56:17 4327

原创 Otter：connect /192.168.10.225:3306 failure:java.io.IOException: Error When doing Client

pid:1 nid:1 exception:canal:canal1:com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: connect /192.168.10.225:3306 failure:java.io.IOException: Error When doing Client A

2016-10-13 08:46:24 11379 1

转载 mysql 对用户授权的操作

grant 权限 on 数据库名.表名 to 用户名@'可以访问的地址' identified by "密码" 权限： all 所有权限 usage 无权限 select,update,insert,delete，等权限数据库.表名： *.* 所有数据库的所有表数据

2016-10-13 08:41:25 9063

原创查看mysql的用户权限

mysql>SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;

2016-10-12 20:40:40 3583

原创 manager端口不能访问：KeeperException$NoNodeException: KeeperErrorCode = NoNode for /otter/channel/3

HTTP ERROR 500Problem accessing /channelList.htm. Reason: Failed to invoke Valve[#2/3, level 3]: com.alibaba.citrus.turbine.pipeline.valve.PerformTemplateScreenValve#75eef270:PerformTem

2016-10-12 16:22:55 5690

转载解决Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’错误

刚安装完mysql，进行运行测试，报Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’错误，[root@localhost mysql]# /usr/local/mysql/bin/mysqld_safe131206 22:42:51 mysqld_safe Logging to ‘/var/log/

2016-10-12 15:59:21 51996 1

转载 mysql: Character set 'utf8mb4' is not a compiled character set and is not specified in the '/usr/sha

1.场景：由于之前MySQL中一起使用utf8编码，最近由于emoji表情的原因，需要使用utf8mb4编码操作如下：修改配置文件/etc/my.cnf：[client]default-character-set=utf8mb4[mysqld]character-set-client-handshake=FALSEcharacter-set-server

2016-10-12 14:47:01 1784

原创 Otter 中canal创建时出现异常，部分。。。Failed to execute screen: CanalList。。。

连接：WARN org.eclipse.jetty.servlet.ServletHandler - /canal_list.htmcom.alibaba.citrus.service.pipeline.PipelineException: Failed to invoke Valve[#2/3, level 3]: com.alibaba.citrus.turbine.pipeline

2016-10-11 11:14:30 3434

原创 mysql -uroot 授权命令 grant 。。。

grant all on *.* to root@'sdzn-otter' identified by '';GRANT ALL ON 数据库名称 TO '用户名'@'localhost' IDENTIFIED BY '密码'; grant all on otter to root@'sdzn-otter' identified by 'hadoop';

2016-10-11 08:32:28 1257 1

转载 zokeeper启动异常:Error contacting service. It is probably not running

转载：http://www.aboutyun.com/thread-18791-1-1.html1.'Error contacting service. It is probably not running.'问题错误描述: 启动zk时显示启动成功,但是去查询他的状态时发现是没有启动成功的,而且此时日志根本查看不了(只能显示早于此刻的时间日志)网上看了下'

2016-10-10 08:50:46 4225

转载用户地理位置的聚类算法实现—基于DBSCAN和Kmeans的混合算法

1. 聚类算法简介聚类的目标是使同一类对象的相似度尽可能地大；不同类对象之间的相似度尽可能地小。目前聚类的方法很多，根据基本思想的不同，大致可以将聚类算法分为五大类：层次聚类算法、分割聚类算法、基于约束的聚类算法、机器学习中的聚类算法和用于高维度的聚类算法。以下实现主要选取了基于划分的Kmeans算法和基于密度的DBSCAN算法来处理1.1 基于划分的Kmeans算法一种典型的

2016-10-07 12:14:41 4473 3

转载利用多写Redis实现分布式锁原理与实现分析

在我写这篇文章的时候，其实我还是挺纠结的，因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方，但是我最终还是拿出来与大家分享，我本着学习的态度和精神，希望大家能够给与我指导和改进方案。一、关于分布式锁关于分布式锁，可能绝大部分人都会或多或少涉及到。我举二个例子：场景一：从前端界面发起一笔支付请求，如果前端没有做防重处理，那么可能在某一个时刻会有二笔一样的单子同时到达系统

2016-10-07 12:13:24 1583

原创掘金技术论坛

掘金官网：http://gold.xitu.io/

2016-10-06 23:53:16 4162 4

原创启动 Eclipse 弹出“Failed to load the JNI shared library jvm.dll

解决方案：http://jingyan.baidu.com/album/9113f81b0607e42b3214c794.html?picindex=3

2016-10-03 10:15:13 540

原创找不到系统文件C：\ProgramData\Oracle\Java\javapath\java.exe

这是要配置java环境变量，然后测试报错吧。如果是这样你把jdk的环境变量配置到最前面也就是把;%java_home%\bin配置到path的最前面，不要加在最后面。

2016-10-03 10:00:35 10412

转载 Windows上安装Maven

Maven的具体参考书可以看：《Maven实战》下载maven可以到：http://maven.apache.org/Maven的eclipse基本使用可以在这里看到：http://www.iteye.com/topic/11232251、把下载下来的maven的zip文件随便解压到一个地方，比如：f:\tool\apache-maven-3.2.5 2、设置环境变量（雷同JA

2016-10-01 19:14:35 630

转载 [Maven] - 安装与Eclipse搭建

Maven的具体参考书可以看：《Maven实战》下载maven可以到：http://maven.apache.org/Maven的eclipse基本使用可以在这里看到：http://www.iteye.com/topic/1123225 1、把下载下来的maven的zip文件随便解压到一个地方，比如：f:\tool\apache-maven-3.2.5 2、设置环境变量（雷

2016-10-01 17:46:03 337

转载 windows下安装redis

1、redis简介redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis

2016-10-01 15:40:40 464

PPT资源库----模板

2021-07-14

wireshark-v3.4.2.zip

运行换进：win64 抓包：TCP报文主要用到的过滤指令： tcp.port == 80 || udp.port == 80 ip.addr == 192.168.1.57 and not tcp.port in {80 25}

2021-04-20

cmake-3.11.4-win64-x64.msi

windows7 版的cmake安装包

2021-04-01

自定义的gsoap头文件station.h

Gsoap的头文件示例

2021-03-27

gsoap_2.8.74.zip

C++ WebService开发辅助工具

2021-03-27

rapidxml.zip

适用于windows环境C++读取xml文件，rapidxml依赖库

2021-03-24

shell脚本案例-俄罗斯方块

该脚本需要在Linux-centos系统中运行，需要安装格式转换工具 dos2unix；改脚本对于shell初学者来说是不错案例选择，仅用619行脚本代码，写出了有趣的小游戏；环境：Centos7.x 1.dos2unix安装 yum -y install dos2unix 2.格式转换： dos2unix square.sh 3.执行脚本 sh square.sh 备注：该脚本本人已经验证过。如有疑问请关注微信公众号：“IT菜籽U”搜索"（八）Linux系统-shell基础--脚本执行方式"，有详细的介绍;

2021-03-01

gsoap2.8.11&2.8.1双版本.txt

linux:centos7.x 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装步骤：https://blog.csdn.net/xiaoshunzi111/article/details/113444209

2021-02-05

gsoap2.8.11离线安装包

适用于centos7.X 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装：https://blog.csdn.net/xiaoshunzi111/article/details/113444209 ./configure --prefix=/usr/local/gSOAP make make install 。。。

2021-02-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

PPT资源库----模板

wireshark-v3.4.2.zip

cmake-3.11.4-win64-x64.msi

自定义的gsoap头文件station.h

gsoap_2.8.74.zip

rapidxml.zip

shell脚本案例-俄罗斯方块

gsoap2.8.11&2.8.1双版本.txt

gsoap2.8.11离线安装包

yum离线安装包(真实有效)

PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz

NVIDIA-Linux-x86_64-418.88.run

Ubuntu16.04 openssh安装包

全栈性能java网络爬虫从入门到精通实战.pdf

Ubuntu操作系统ssh安装包

VS2013-64位

SoapUI-x32-5.4.0.exe

qt-opensource-linux-x64-5.7.1.run

qt-opensource-linux-x64-5.5.1.run

curl-7.49.0.tar.gz

libevent-2.0.21-stable.tar.gz

Linux libevent2.1安装包

redis505.rar

支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出.txt

GDI开发包，C++绘图工具包

空空如也