李晓蒙的博客

吾十有五而志于学，三十而立，四十而不惑，五十而知天命，六十而耳顺，七十而从心所欲，不逾矩！

12月 11月 10月 09月 07月 06月 05月 04月 03月 01月

原创 python连接hive

1 准备连接hive的python代码在使用Python连接hive之前需要将hive中的文件拷贝到python的sys.path中cp -r $HIVE_PATH/lib/py /usr/local/lib/python2.7/site-packages或者将hive中连接代码，设法加入到python的eclipse项目中总之，目的只有一个，就

2014-01-27 18:16:39 6815

原创 python联接hive的模板

python连接hive的demo 在部署了两个hive后，分别在namenode和一个datanode上，用nohup hive --service hiveserver &将hive server启动。 Hive server 让Hive提供Thrift服务的服务器形式运行，允许不同的语言编写客户端进行访问。使用Thrift、JDBC、ODBC连接器的客户需

2014-01-27 16:16:24 2082 3

原创利用Sqoop把SqlServer数据库中的表导入导出到HDFS

利用Sqoop把SqlServer数据库中的表导入导出到HDFS为了能够和HDFS之外的数据存储库进行交互，MapReduce程序需要使用外部API来访问数据。Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些

2014-01-23 09:58:46 1666

原创 pyhdfs 安装

首先可以参考这两篇文档： http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html 然后补充两个细节： 1. 我在执行: Java代码 apt-

2014-01-22 16:09:58 4767

转载 Hadoop操作HDFS命令

Hadoop操作HDFS命令Hadoop操作HDFS命令如下所示： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.

2014-01-21 18:23:26 847

原创 dfs.replication 详解

首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1

2014-01-21 17:24:07 14392

原创 sql server日期时间转字符串

一、sql server日期时间函数Sql Server中的日期与时间函数 1. 当前系统日期、时间 select getdate() 2. dateadd 在向指定日期加上一段时间的基础上，返回新的 datetime 值例如：向日期加上2天 select dateadd(day,2,'2004-10-15') --返回：2004-10-17

2014-01-13 11:08:02 4981