2016年07月_吴小全

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月

原创 hadoop map-reduce倒排索引过程

---------------------------------mapper//context.wirte("hello->a.txt", "1")//context.wirte("hello->a.txt", "1")//context.wirte("hello->a.txt", "1")<"hello->a.txt", {1,1,1}>--------------------------

2016-07-29 23:14:18 552

1. 发布topologies到远程集群时，出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来，可能是storm.yaml文件没有配置，或者配置有问题。解决方法：打开storm.yaml文件正确配置：nimbus.host: “xxx.xxx.xxx.xxx”，重启nimbus后台程序即可。2. 发布topologies到远程集群时，出现AlreadyAlive

2016-07-29 23:11:06 422

原创 storm安装

1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml所使用的zookeeper集群主机storm.zookeeper.servers:- "weekend05"- "weekend06"- "weekend07"nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots.ports-6701-6

2016-07-29 23:07:38 410

原创 kafka笔记

集群安装 1、解压 2、修改server.propertiesbroker.id=1zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:21813、将zookeeper集群启动4、在每一台节点上启动brokerbin/kafka-server-start.sh config/server.properties5、在kafka集群中

2016-07-29 23:05:32 391

原创 sqoop的使用

sqoop的使用 —-sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具 —-实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置 —-修改配置文件 sqoop-env.sh#Set path to where bin/hadoop is availableexport HADOOP_CO

2016-07-29 23:03:18 352

原创 linux使用GDB 调试

1. gdb 调试利器GDB是一个由GNU开源组织发布的、UNIX/LINUX操作系统下的、基于命令行的、功能强大的程序调试工具。对于一名Linux下工作的c++程序员，gdb是必不可少的工具；1.1. 启动gdb对C/C++程序的调试，需要在编译前就加上-g选项:$g++ -g hello.cpp -o hello调试可执行$gdb gram也就是你的执行文件，一般在当前目录下。调试core文件

2016-07-29 22:58:04 442

原创 xshell或secureCRT的中文乱码问题

一、解决xshell 中文乱码在xshell命令行里面输入： locale 输出： LANG=zh_CN.UTF-8LC_CTYPE="zh_CN.UTF-8"LC_NUMERIC="zh_CN.UTF-8"LC_TIME="zh_CN.UTF-8"LC_COLLATE="zh_CN.UTF-8"LC_MONETARY="zh_CN.UTF-8"LC_MESSAGES="zh_CN.U

2016-07-29 22:44:50 946

原创 Hive1.2.1安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量 rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-s

2016-07-28 21:08:02 493

原创 HBase集群搭建

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES_

2016-07-28 21:02:30 409

原创 Android：基于百度云推送的聊天系统

一、系统运行图二、原理下面通过几个问题来说明下实现的原理：1、如何实现给某个用户发送消息呢

2016-07-28 20:52:38 2762 6

原创解决secureCRT7.3小键盘在vim编辑器里不能使用问题

问题：在secureCRT7.3版本上，如果使用xterm模式，那么小键盘在vim编辑器里就不能使用，这时候得作如下配置： Session Optionn–>Terminal—>Emulation–>modes选项下不要勾选Enable keypad mode switching 如下图：

2016-07-28 19:58:27 5871 3

原创在CentOS7.0上安装Oracle11或12

一、安装前准备工作，下载Oracle地址：http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 下载如下版本下载完成后：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2.zip二、配置-增加oracle

2016-07-28 19:46:54 1200