- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法
在windows下保存了一个脚本文件，用ssh上传到centos，添加权限执行nginx提示没有那个文件或目录。shell脚本放到/etc/init.d/目录下，再执行/etc/init.d/nginx，提示多了这句/bin/bash^M: bad interpreter。网上找了资料才知道如果这个脚本在Windows下编辑过，就有可能被转换成Windows下的dos文本格式了，这样的格式每一行的...
2015-09-30 09:17:06
134
原创 hadoop入门--简单的MapReduce案例
分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中的...
2015-09-08 19:00:54
119
原创 hive从查询中获取数据插入到表或动态分区
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。 1234INSERT OVERWRITE TABL...
2015-09-06 09:20:11
100
原创 Hive创建表和分区
转载自 http://www.yanbit.com/?p=394Hive创建表和分区2013年10月17日YanBit CREATE EXTERNAL TABLE IF NOT EXISTS data_zh(ROWKEY STRING,STATION INT,YEAR INT,MONTH INT,DAY INT,HOUR INT,MI...
2015-09-01 15:53:21
268
原创 hadoop，hive启用lzo压缩和创建lzo索引
启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。不过lzo不比gzi...
2015-09-01 15:52:17
200
原创 Python sys.path详细介绍
如何将路径“永久"添加到sys.path?sys.path是python的搜索模块的路径集，是一个list 复制代码代码如下:['', 'C:\\WINDOWS\\system32\\python26.zip', 'C:\\Python26\\DLLs', 'C:\\Python26\ \lib', 'C:\\Python26\\lib\\plat-win', 'C:\\Py...
2015-09-01 15:50:56
117
原创 python中sys.path使用
sys模块包含了与python解释器和它的环境有关的函数，这个你可以通过dir(sys)来查看他里面的方法和成员属性。下面的两个方法可以将模块路径加到当前模块扫描的路径里：sys.path.append('你的模块的名称')。sys.path.insert(0,'模块的名称')永久添加路径到sys.path中，方式有三，如下：1）将写好的py文件放到 /usr/lib/pyt...
2015-09-01 15:41:04
88
一份完整的Spring+Hibernate+DWR+extJs的生成树及下拉comBoboxTre..
2009-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人