2013年09月_liangpz521

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创利用SQOOP将数据从数据库导入到HDFS

基本使用如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralc

2013-09-30 13:36:30 745

原创 sqoop 使用心得(sqoop增量倒入)

sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题。一业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的， 1 把hive查询结果直接进入Hive的表a（a表需要创建，结构需要和b一样） 2 通过sqoop把表a的内容导入到MySql表b（b表已经存在），这个时候你需要现在hive上创建a表，假如b表字段很多

2013-09-29 11:09:45 1634

原创 Hadoop常用操作命令

启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件

2013-09-18 09:49:37 1110

转载用hive+hdfs+sqoop分析日志的步骤

现在的部分工作是进行日志分析，由于每天的日志压缩前80多G左右，用lzop压缩后10G左右，如果用shell直接进行统计，需要花费很长时间才能完成，而且还需要用java函数对request url进行转换，于是采用hive+hdfs+sqoop方案进行日志统计分析 hadoop+hive+hdfs+sqoop的架构就不详细说了，可以直接用cloudera的repo直接安装日志分析步骤

2013-09-17 14:42:39 1521

原创 Ubunut12.04安装Thrift，方便支持php(四）

Thrift下载地址：http://thrift.apache.org/download/ 或 git clone https://git-wip-us.apache.org/repos/asf/thrift.git thrift 安装Thrift 前根据不同的系统安装不同的环境环境配置请参照： http://thrift.apache.org/docs/install/

2013-09-17 14:07:43 945

原创 Ubunut12.04安装Sqoop(三）

sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.3/sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz 另外，sqoop导入mysql数据运行过程中依赖mysql-connector-java

2013-09-17 13:53:45 1001

原创 Ubuntu12.04安装Hive（二）

This post is about the installation of Hive on Ubuntu. The environment of my system is ubuntu12.04, hadoop1.0.3, hive 0.9.0. Supposing the hadoop is installed. The details of installation for hive

2013-09-17 13:30:19 1437

原创 Ubuntu 12.04上搭建Hadoop环境(一）

首先要了解一下Hadoop的运行模式：单机模式（standalone）单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于

2013-09-17 13:13:18 1379 2

原创 hadoop中一些常用的命令介绍

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop 1.进入HADOOP_HOME目录。 2.执行sh bin/start-all.sh 关闭Hadoop 1.进入HADOOP_HOME目录。 2.执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的

2013-09-14 16:17:33 651

原创 ubuntu12.04安装hadoop1.2遇到的问题

安装方法是按以下来安装 http://www.linuxidc.com/Linux/2013-06/86106.htm 安装完后 datanode启动不了后来找了原因按网上说的来做还是不启动呢后台运行 bin/hadoop datanode命令后出现 WARN datanode.DataNode: Invalid directory in dfs.d

2013-09-13 11:41:48 833

原创 ubuntu 环境下配置mongodb php扩展

1.安装mongodbｍｏ apt-get install mongodb 2.安装php的mongodb的扩展下载 mongo-1.4.3.tgz tar zxvf mongo-1.4.3.tar.gz cd mongo-1.4.3 phpize ./configure --with-php-config=/usr/bin/php-config --en

2013-09-09 13:14:17 1524

汉字笔画笔顺Unicode和GB码数据库(20902汉字)

汉字笔画笔顺Unicode和GB码数据库(20902汉字)，可以满足日常的开发应用每个汉字带有笔顺，可以通过笔顺知道汉字的构造和书写顺序；可以通过给定一个笔顺，快速知道笔画数，比如笔顺为“34”，则笔画数为2；可以通过用户输入一个笔顺，快速知道该汉字的结构，以得到候选的汉字，适合用来开发汉字输入法，比如：输入笔顺“34”，因3是撇4是捺，则可能的汉字为“人、八、入、乂”中的一个。

2020-11-19

elasticsearch5.x的hanlp中文插件

这个是elasticsearch的hanlp扩展，目前只支持5.x版本的

2018-01-29

SourceTree For Windows中文版(git 客户端)

2017-05-04

eclipse软件的hadoop插件包（mapreduce)

此插件用于eclipse的hadoop插件，来业写mapreduct程序专用插件本人用的eclipse 3.7.3版本操作系统 ubuntu12.04 1.解压此文件，取出其中的.jar文件 2.把.jar文件复制到 /usr/lib/eclipse/plugins/中，重启eclipse就可以了 3.eclipse软件中 window-> show view->other 找到Map/Reduct Location

2013-10-10

WingIDE 4 破解 (windows)破解文件

WingIDE是目前最强大的python编辑器。下面提供最新版本的破解方法。

2013-08-03

SEO实战密码

这个一本介绍seo全方位的书，有很好的参考价值，对于初学者或高手来说都是一本很不错的工具书！我在这里和大家分享下

2013-06-07

wingIDE4.0.x_linux破解包

wingIDE是python的企业级集成开发环境，比eclipse+python开发插件 PyDev要好用很多。开发python的极好工具，强烈推荐. 使用方法：先到官方网站下载wingIDE4.03或wingIDE4.04,安装后启动，弹出注册框时，选择第一项：申请一个免费的10天 lisence,注册成功后，退出程序。将本破解包替换 windwos系统如下替换 wingide4.0/bin/2.5/src.zip即可 linux系统如下替换 /usr/local/lib/wingide4.0/bin/2.5

2013-05-01

Coreseek在ubuntu系统上补丁

此补丁可以解决Coreseek在ubuntu系统编译时通不过的问题

2013-04-12

Android多功能电子书制作软件

Android多功能电子书制作软件，这个一个制作手机电子书的软件，有要的同学可以在这里下载

2013-04-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

liangpz521的技术资料库