lazythinker的专栏

原创 Linux 删除特殊符合的文件

服务器空间清理的时候，发现了一些 ？、空格等，不知道如何产生的文件。不方便直接删除，可以用如下方法：1) 使用 ls -i 找到文件的 inode 号如1225623892) 使用find命令删除 find ./ -inum 122562389 -exec rm '{}' \;find ./ -inum 122562389 |xargs rm...

原创 Hive 添加第三方包的方式

1、Add jar    对当前shell有效，简单明了；2、hive-env.sh   HIVE.AUX.JARS.PATH对服务器无效，仅对当前hive shell有效，不同的hive shell相互不影响，每个hive shell都需要配置，可以配置成文件夹形式。    注意：1，根据hive启动脚本，此属性应该也只支持file://也就是本地文件，暂不支持HDFS，没有做验证。2，此配置可...

原创 HIVE参数调优（汇总）

//设置自动mapjoin 为false set hive.auto.convert.join=false; set hive.ignore.mapjoin.hint=false//关闭严格模式 set hive.exec.dynamic.partition.mode=nonstrict; set hive.mapred.mode=nonstrict;

转载 ElasticSearch批量更新索引的优化

1. 多线程程序插入可以根据服务器情况开启多个线程index，速度可以提高n倍, n>=2 2. 取消replias如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias curl -XPUT ‘http://127.0.0.1:9200/dg-test/’ -d ‘{ “settings” : { “number_of_s

原创 CentOS下安装MySQLdb

目的好久不用Python写代码了，最近需要写一个简单的小程序，整理了一下安装MySQLdb遇到的问题。测试是否安装MySQLdb>>> import MySQLdbImportError: No module named MySQLdb原来机器上没有安装这个包；下载安装MySQLdb在这个页面下载http://sourceforge.net/projects/mysql-python/fil

原创 HIVE 语句执行 中报错：Java heap space

1、报错信息ask with the most failures(4):-----Task ID:  task_1472873234260_9322_m_000004URL:  http://hadoop-namenode1:8088/taskdetails.jsp?jobid=job_1472873234260_9322&tipid=task_1472873234

原创 HiverServer严格模式配置

因为在系统配置了HiveServer服务开放给需要进行统计的同事，但因为hql的原因还是会给集群造成一些影响。我决定给HiveServer服务增加严格模式：hiveserver2 start --hiveconf hive.mapred.mode=strict 具体严格模式下的注意事项，参考 http://blog.csdn.net/wisgood/article/details/1

原创 TOMCAT运行时OOM解决

统计分析系统因为内部系统，访问量不是太高，一直都是完成功能，没有对TOMCAT的配置关注过，直到最近发生了如下的报错：Exception in thread "http-bio-8080-Acceptor-0" java.lang.OutOfMemoryError: Java heap spaceException in thread "ContainerBackgroundPro

原创 Hadoop 任务运行中 java.net.ConnectException: to 0.0.0.0:10020 failed

10020 failed java.lang.OutOfMemoryError GC overhead limit exceeded Java heap space

原创 修改NodeManager的内存

1、查看nodemanager节点状态bin/yarn node -list2、停止nodemanagersbin/yarn-daemon.sh stop nodemanager3、修改etc/hoadoop/yarn-site.xml                         yarn.nodemanager.resource.memory-mb

原创 hadoop集群操作常用命令

一、HDFS相关1、启动NameNodesbin/hadoop-daemon.sh start namenode2、启动DataNodesbin/hadoop-daemon.sh start datanode二、YARN相关1、启动Resource Managersbin/yarn-daemon.sh start resourcemanager2、启动N

原创 hadoop Unhealthy Nodes问题解决

1、问题来源前几天因为一个hive SQL的问题，导致其中一台机器的磁盘空间不足，删除临时文件解决了空间不足的问题；查看http://hadoop/cluster/nodes/unhealthy 发现出现了一个unhealty节点，错误信息如下1/1 local-dirs turned bad: /usr/local/goldmine/hadoop/tmp/nm-local-dir;1

原创 Java报错&解决汇总

1、The stack size specified is too small, Specify at least 228k一个服务应为压力比较大，打算在多部署一台服务器，部署阶段很顺利，到了服务启动阶段jiu's

原创 CentOS下mysql的安装

项目里需要用到mysql数据库，自己下载了最新版的mysql打算安装

原创 电影推荐-基于 Apache Mahout 构建社会化推荐引擎

最近开始研究推荐系统，

原创 Java开源推荐引擎

收集整理了目前互联网上能找到的和推荐系统相关的开源项目(Open Source Software | Recommendation)，罗列如下，希望对本领域感兴趣的朋友有帮助（文/陈运文）

原创 Maven依赖jar包的查询

1、查询地址1       http://search.maven.org/#browse2、查询地址2       http://mvnrepository.com/

原创 CentOS 安装rz和sz命令

最近要测试hadoop2.4的ha，在虚机装了Cen

原创 Mac下安装maven

1、下载maven安装包http://maven.apache.org/download.htmlhttp://apache.fayea.com/apache-mirror/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz2、解压到目录tar -zxvfapache-maven-3.2.1-bin.tar.

原创 sudo命令

1、sudoSudo（superuser do）用于类Unix操作系统、BSD、Mac OS X及GNU/Linux，允许使用者透过安全方式使用特殊权限执行程序（通常为系统超级使用者）；2、Mac系统中使用sudoa、一般情况不用开启root帐户，除非你需要要su root操作。b、只有在sudoers文件中被给予权限的用户才能用sudo。查看/etc/sudoers文

原创 MAC下安装storm及配置开发环境

storm的安装依赖 python、zookeeper等，因为mac下已经有python了，这里只需要安装storm和zookeeper即可；1、下载storm的release版本， 解压，并且把bin/目录加到环境变量PATH里面去。    vim /etc/profile     #set storm    export STORM_HOME=/usr/local/st

转载 tomcat and resin服务器如何设为UTF8编码

虽然项目全部采用了UTF-8编码，所有的源文件*.java,*.jsc,*.html,*.ftl都采用了UTF-8编码。可是还是出现了乱码问题。很是不爽，后来找到了tomcat，和resin的配置。Tomcat的配置。(conf/server.xml)    maxThreads="150" minSpareThreads="25" maxSpareThreads="75"

原创 Solr的安装配置

一、安装配置java1、wget -c http://download.oracle.com/otn/java/jdk/6u22-b04/jdk-6u22-linux-x64.bin2、chmod +x jdk-6u22-linux-x64.bin3、./jdk-6u22-linux-x64.bin  4、vi /etc/profile  在里面添加如下内容#JAV

原创 使用aapt解析apk信息报错“cannot execute binary file”

写了个工具类去解析APK包读取里面的信息，在window是环境测试都ok，但是部署到服务器（CentOS）就报错“cannot execute binary file”。    可能的解决方案：1、如果是没有执行权限，用命令修改即可：chmod +x aapt2、可能是编译环境不同造成的：请检查是不是因为 32位 64位操作系统导致或者是amd or intel问题导致；3、如果还

转载 PACKAGE-INFO.JAVA 作用及用法详解

package-info.java对于经常使用外部包的程序员来说应该是熟悉陌生人。因为不是专门开发包的程序员很少需要关注它，而又常在其他包中看到他，眼很熟。它到底有哪些特性和作用及如何使用呢？程序员讲究动口不如动手，何不创建一个试试。打开Eclipse,new class,哦！创建失败，‘-’ 作为特殊字符不允许在类名称里出现，什么情况。原来它本来就是个特例当然得用特别方法创建，记事本上，好了

原创 HIVE中内连接和左半连接不一致问题

一、理论HIVE中都是按等值连接来统计的，理论上两种写法统计结果应该是一致的；二、实际情况但实际使用中发现两种写法会返回的结果，总会有一些差距虽然差别不大，但让人很是困惑。三、原因当使用join on的时候，如果右表有重复数据就会关联更多的数据，因为它们都符合join on上的条件；而使用left semi join的时候，当join左侧表中的记录在join右侧表上查询

原创 Perl LWP 模块安装及遇到的问题

1、首先打开http://search.cpan.org   下载 libwww-perl-6.04.tar.gz2、以为lwp依赖的模块较多，还需要下载下列模块   HTTP-Message-6.06.tar.gz   HTTP-Date-6.02.tar.gz   3、遇到的一些问题  a、“ 501 Protocol scheme 'http' is not supp

原创 Perl 中手工安装JSON模块

手工安装的步骤：　 1、从CPAN下载了JSON模块2.53版的压缩文件JSON-2.53.tar.gz；　 2、解压缩这个文件：　     tar　xvzf　JSON-2.53.tar.gz　 3、会新建一个JSON-2.53的目录。　     cd　JSON-2.53　 4、查看README    里面有详细的介绍5、生成makefile：　     per

原创 Linux脚本中的延时处理函数

一般使用 sleep 或 usleep 函数。     1、sleep : 默认为秒。sleep 1s 表示延迟一秒  sleep 1m 表示延迟一分钟  sleep 1h 表示延迟一小时  sleep 1d 表示延迟一天      2、usleep : 默认以微秒。  1s = 1000ms = 1000000us

转载 hbase在淘宝的应用和优化小结

hbase在淘宝的应用和优化小结                                      作者：邓明鉴(taobao.com)  2012.3.51 前言     hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性，因此在数据量猛增的今天非常受到欢迎。对于淘宝而言，随着市场规模的扩大

原创 hive导出查询内容的方法

因为业务上需要把hive统计的结果，插入到mysql中，总结了操作方法如下： 一、可以将hive HQL 统计的结果生成到指定的目录       INSERT OVERWRITE LOCAL DIRECTORY  '/tmp/result.txt' select id,name from t_test;二、直接把统计结果生成文件在linux输入下面的命令      hive

转载 宿主机为linux、windows分别实现VMware三种方式上网

宿主机为linux、windows分别实现VMware三种方式上网一、VMware三种方式工作原理1 Host-only连接方式  让虚机具有与宿主机不同的各自独立IP地址，但与宿主机位于不同网段，同时为宿主主机新增一个IP地址，且保证该IP地址与各虚机IP地址位于同一网段。最终结果是新建了一个由所有虚机与宿主主机所构成的局域网，但该局域网与宿主主机本身所处的现有局域网是相互独立的

原创 flume思维导图学习

原创 人生到底在追求什么

以下这个故事或许各位曾经浏览过，但是，是否会花点时间认真阅读和思索呢？有一个美国商人坐在墨西哥海边一个小渔村的码头上，看着一个墨西哥渔夫划着一艘小船靠岸。小船上有好几尾大黄鳍鲔鱼，这个美国商人对墨西哥渔夫能抓这么高档的鱼恭维了一番，还问要多少时间才能抓这么多？墨西哥渔夫说，才一会儿功夫就抓到了。美国人再问，你为甚么不待久一点，好多抓一些鱼？墨西哥渔夫觉得不以为然：「这些鱼已经足够我一家

原创 mac 下开启root用户

点击顶部苹果键->点击“系统偏好设置”->点击第四排的“帐户”->选择左侧“登陆选项”->点击“网络帐户服务器”后面的“加入…”->点击“打开目录实用工具…”->点击左下角的小锁解锁（如果本来是解锁状态的忽略此步骤）->选择mac最顶部的“编辑”菜单->点击启用root帐户->再在上面菜单里点击修改root密码输入你要加的root密码->重启->选择登陆

原创 Linux 学习必读系列

从网上搜罗的一些必读系统，供大家学习linux时的参考吧。1、《UNIX环境高级编程》（第2版），史蒂文斯著  推荐指数：★★★★★ 《UNIX环境高级编程》是 Unix/ Linux 程序员案头必备的一本书籍。可以说，Linux程序员如果没有读过这本书，就好像基督教徒没有读过圣经一样，是很难让人理解的。这本书概括了 Linux编程所需的一切理论框架、主要系统函数、多进程编程、乃至 Lin

原创 jackson中java对象中的属性名大小写问题

在项目中使用了jackson，在转换json串的时候，发现一个对象的属性本来是大小的结果给转成小写了。    查找资料得知：     @JsonProperty List ChildNodes;   @JsonIgnore public List getChildNodes() { return ChildNodes; } @Jso

原创 网站前台常见技巧

1、禁止浏览器自动填写表单      关闭表单自动提交：        关闭txext自动提交：         关闭密码自动提交：        注：之前一般都是ie支持此属性，html5开始支持此属性，详见HTML 5autocomplete 属性 2、input中只能输入数字

原创 Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案

在项目中碰到了MapReduce任务中需要引入第三方jar包的问题； 一、现象 报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。 二、解决方案 随手一搜网上倒是不少解决方案，我选择两个典型方案，其它方案自行查找： (1) 将依赖的第三方j...

原创 Hadoop Streaming使用简介

一、Hadoop Streaming  它是hadoop的一个工具，用来创建和运行一类特殊的map/reduce作业。所谓的特殊的map/reduce作业可以是可执行文件或脚本本件（python、PHP、c等）。Streaming使用“标准输入”和“标准输出”与我们编写的Map和Reduce进行数据的交换。由此可知，任何能够使用“标准输入”和“标准输出”的编程语言都可以用来编写MapReduc