自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 impala 中文查询

一直没找着在哪设置utf-8

2014-04-18 08:47:27 2891

原创 centos安装mysql

yum list mysql yum install mysqlyum list mysql-server 启动服务service mysqld start /etc/init.d/mysqld start mysql -u root -p /etc/init.d/mysqld stop修改密码 mysqladmin -uroot -p pa

2014-04-10 14:50:03 561

原创 Permission denied, please try again)

编辑/etc/ssh/sshd_config文件,确认以下设置:PasswordAuthentication yes

2014-01-14 00:41:11 1353

原创 spark安装

http://in.sdo.com/?p=325去年作过相关的调研,但是一直没时间仔细研究, 准备最近重新研究下。

2013-12-20 21:00:08 639

原创 hadoop提升性能总结

1 CombineFileinputFormat (预处理阶段) 或尽量使用大文件2 Combine(map输出阶段)3 压缩数据(map输出阶段),减少传往reduce的阶段的网络传输,内存和磁盘交换4 数据过滤(写hdfs之前)5 Comparator(复杂数据, Reduce阶段)以上纯纯个人观点

2013-03-18 17:45:06 703

原创 hadoop性能测试

从搭建hadoop环境到测试完成大概用了8,9天的时间,总的来说,hadoop上手还是比较容易的,只是内部确实有点复杂。测试环境部署用了22台机器,CPU 16核,感觉有点浪费。日志每分钟往hdfs写600M的log,每五分钟提交一次hadoop任务,大概一个任务处理2G多点的文件,测试结果,到reduce 完成时间大概是1分9- 1分30秒之间,大概是开了90多个map, 这在以前pc上

2013-03-17 22:27:26 1531

原创 第一次写java程序

没有看书,直接写的代码, 感觉入门还很容易。总共1个小时左右写了第一个程序,写了个多线程随即生成内容写入文件,文件总大小10G左右, 准备放到HADOOP环境去测试下不同 Reduce配置下的效率。将来一段时间可能java用的比较多, 以后有时间还得看下语法。

2013-03-08 22:59:09 643

原创 安装hadoop

花费了差不多一天的时间,安裝好了hadoop环境,一台服务器作为master, 三台作为dataNode ,测试了官方的demo,可以正确运行。哪天有时间再来总结, 解决问题http://blog.sina.com.cn/s/blog_575b0ca501016z6i.htmlhttp://www.cnblogs.com/wly603/archive/2012/

2013-03-06 17:32:11 608

原创 python调用Google Protocol Buffer

下载地址:http://code.google.com/p/protobuf/downloads/list安装命令tar -xzf protobuf-2.5.0.tar.gz  cd protobuf-2.5.0  ./configure --prefix=$INSTALL_DIR  make   make check  make install 然

2013-02-28 09:30:19 4972

原创 解决zlib 找不到

解决办法重新编译一下Python源码安装包,如下:    1  tar jxvf Python-2.7.3.tar.bz2     2  cd Python-2.7.3/    3  ls    4  sudo ./configure     5  gvim Modules/Setup    6  sudo gvim Modules/Setup      在这里把4

2013-02-26 17:21:23 1748

原创 安装pika

下载地址 https://pypi.python.org/packages/source/p/pika/pika-0.9.9.tar.gz#md5=5737fe84209a4df81fe4cff4052793dasudo python setup.py install安装中出现错误ImportError: No module named setuptoolswget htt

2013-02-26 17:15:11 1671

原创 浑浑噩噩地了过了2012年。

一年基本没什么事,技术也没什么长进,对做技术也没什么感觉了,特别怀念以前搞DELPHI的时候没事就看看VCL源代码觉得还蛮享受的,钱也没赚到什么钱,家里亲人也有去世,想想也蛮无奈的,自己年纪大了, 想的事情也比较多,一直都是处于患得患失的状态, 不像以前做什么都信心满满的。感觉还是自己太浮躁了点,总想找个更高的起点。新的一年也没什么大的打算,只希望身体好点,自己和家人都平平安安,抓住机

2013-01-27 23:05:36 404

原创 LINUX的日子

以前从来没搞过LINUX的, 突然这么下有点转不过来。让同事帮忙搭的开发环境,发现这个项目要研究的东西真够多的, Redis,hadoop 都去简单研究了下, hadoop 好像不是很我们这样的高性能服务器,不过可以多开虚拟机来替代, 但是内存又怕不够, 主要项目要处理的数据量比较大,差不多10T左右。另外以前不懂python 也简历看了下。中间又花了2个星期左右时间研究了C++ ST

2012-10-31 14:42:50 392

提示
确定要删除当前文章?
取消 删除