- 博客(33)
- 资源 (18)
- 收藏
- 关注
RSS订阅
原创 使用Sqoop将数据在HDFS与MySQL互导
1.去官网下载sqoop，直接百度即可2.解压后进入conf目录guo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh3.在sqoop-env.sh添加各种home#Set path to where bin/hadoop is avail
2016-03-29 15:21:24
4744
原创 HBase HA高可用集群搭建及HBase Shell简单使用
1.先搭建Hadoop HA集群（包含ZooKeeper搭建），请看这：Hadoop HA高可用集群搭建（2.7.2）2.我只有五台机器，所以是这么规划的：drguo1/2 HMaster drguo3/4/5 HRegionServer3.先在drguo1上安装配置好之后，再拷给2/3/4/5。4.正式开始4.1去官网下载HBase，最低要0.96版本，之前版本不支持Ha
2016-03-27 17:28:28
6272
5
原创 Hive UDF自定义函数编写小例子
感谢段海涛老师~先写一个java类，定义函数逻辑（静态代码块模拟字典）package club.drguo.hive;import java.util.HashMap;import org.apache.hadoop.hive.ql.exec.UDF;//club.drguo.hive.PhoneNumToAreapublic class PhoneNumToArea exte
2016-03-26 22:03:25
3002
原创 Hadoop HA高可用集群搭建（2.7.2）
1.集群规划：2.前期准备：3.搭建zookeeper集群（drguo3/drguo4/drguo5）
2016-03-24 22:33:12
17603
5
原创 OpenStack自动化部署----单节点的自动安装（DevStack）+apt-get更换源
1.apt-get更换源guo@drguo1:~$ sudo gedit /etc/apt/sources.list换成网易源deb http://mirrors.163.com/ubuntu/ precise-updates main restricteddeb-src http://mirrors.163.com/ubuntu/ precise-updates main res
2016-03-22 21:17:24
2551
1
原创 Hive安装及使用演示
如果你还没有装HIVE，请看这：Hive集成Mysql作为元数据，写的很详细。如果出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask请看这：FAILED: Execution Error, return code 1hive> create database guo;
2016-03-26 19:00:24
1841
原创 Hive连接Mysql---FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
hive> show tables;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreC
2016-03-26 16:05:44
12627
原创 第四个MapReduce程序----两表join
需求：两个表，一个有id和name，一个有id和phoneNum，得到name和与之对应的phoneNumpackage club.drguo.mapreduce.joinquery;import java.io.IOException;import java.util.ArrayList;import org.apache.commons.lang.StringUtils;imp
2016-03-24 13:28:25
1110
原创 ssh: connect to host localhost port 22: Connection refused
drguo@drguo3:~/.ssh$ ssh localhostssh: connect to host localhost port 22: Connection refuseddrguo@ubuntu:~$ sudo apt-get install openssh-server正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成
2016-03-23 22:37:39
8120
2
转载 Hadoop高可用集群（HA+JournalNode+zookeeper）
谁能给我十台机器玩一玩啊！！！一、一些名词介绍HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。ZKFC（ZooKeeper FailoverController）ZooKeeper故障切换控制器二、为什么需要HA和Federation1. 单点故障在Hadoop 2.
2016-03-20 22:36:34
10604
原创 Zookeeper伪分布集群搭建及简单使用演示
按理说zookeeper至少要有三台主机才能玩，奈何我没用虚拟机也没有那么多主机，只能用伪分布式玩玩了。
2016-03-20 19:37:06
2479
原创 第三个MapReduce程序----倒排索引inverseindex
分为两步第一步代码实现package club.drguo.mapreduce.inverseindex;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hado
2016-03-20 16:28:44
1276
原创 第二个MapReduce程序----flowcount（流量统计，自定义排序，自定义分区）
感谢段海涛老师FlowBean.java通用的package club.drguo.mapreduce.flowcount;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;//实
2016-03-19 22:02:21
2559
转载 Python3.x爬虫
转自：http://blog.csdn.net/evankaka/article/details/46849095#comments林炳文摘要：本文将使用Python3.4爬网页、爬图片、自动登录。并对HTTP协议做了一个简单的介绍。在进行爬虫之前，先简单来进行一个HTTP协议的讲解，这样下面再来进行爬虫就是理解更加清楚。一、HTTP协议HTTP是Hyper Text Tran
2016-03-19 01:54:04
1944
转载 序列化与Writable接口
转载请写明来源地址：http://blog.csdn.net/lastsweetop/article/details/9193907所有源码在github上，https://github.com/lastsweetop/styhadoop简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求hadoop在节
2016-03-18 21:45:55
1265
原创 第一个MapReduce程序----wordcount（编写并运行）
感谢段海涛老师WordCountMapperpackage club.drguo.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred
2016-03-17 22:33:54
3441
转载 RPC
作者：用心阁链接：http://www.zhihu.com/question/25536695/answer/36197244来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。关于RPC你的题目是RPC框架，首先了解什么叫RPC，为什么要RPC，RPC是指远程过程调用，也就是说两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用
2016-03-16 20:09:44
556
原创 HDFS上传下载小例子
普通版package club.drguo.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.
2016-03-16 19:27:00
1063
原创 Eclipse快捷键Assign to local variable
当你new Object()写完之后是不是又跑到行首写Object object = ，是不是感觉既费力又2呢= =Window----Preferences----Keys----更改完之后（你也可以不改），写完new Object()只需按你设置的快捷键，前面的变量名就自动生成了～
2016-03-15 22:47:53
3698
转载 Hadoop集群启动常见异常
1、hadoop节点的本地工作目录访问异常（权限）2、namenode处于安全模式，导致无法上传数据namenode在刚刚启动的时候处于安全模式不一定是异常，但是如果启动完成之后一直不退出安全模式，就有问题，可以用以下指令尝试手动退出 hdfs namenode -safemode leave 如果退出不成功，可以查看日志信息或者关闭重启
2016-03-15 21:34:29
1502
原创 Hadoop伪分布式运行wordcount小例子
先说点小知识hadoop fs 使用面最广，可以操作任何文件系统hadoop dfs和hdfs dfs只能操作HDFS相关的在上一篇博客中，我们已经成功启动了HDFS和YARN，接下来先建数据存放目录和结果输出目录root@guo:/opt/Hadoop/hadoop-2.7.2# hdfs dfs -mkdir /data/inputroot@guo:/opt/Hado
2016-03-14 22:33:18
6298
2
转载 Oracle数据类型之number
转自：http://www.blogjava.net/caojianhua/archive/2011/01/24/343461.htmloracle的number类型是oracle的内置类型之一，是oracle的最基础数值数据类型。在9iR2及其以前的版本中只支持一种适合存储数值数据的固有数据类型，在10g以后，才出现了两种新的数值类型，即推出本地浮点数据类型(Native Floating-
2016-03-10 14:09:32
805
原创 webservice小例子
package test;import java.io.InputStream;import java.nio.charset.Charset;import org.apache.http.HttpResponse;import org.apache.http.client.HttpClient;import org.apache.http.client.methods.HttpGe
2016-03-09 21:55:03
475
原创 后台传递给前台，Json获取的值为undefined
$(function() { var goodses=get(); var goodsNum=0; var params="{\"goodsIds\":\""; for(var i=0; i<goodses.length; i++){ params+=goodses[i].goodsId+","; goodsNum=parseInt(goodsNum)+parseInt
2016-03-09 00:29:54
9402
转载 Mybatis传多个参数（三种解决方案）
转自：http://www.2cto.com/database/201409/338155.html第一种方案 DAO层的函数方法 Public User selectUser(String name,String area);对应的Mapper.xml select * from user_user_t where user_name
2016-03-04 17:27:26
805
原创 MYBATIS 无效的列类型: 1111
Cause: java.sql.SQLException: 无效的列类型: 1111 ; uncategorized SQLException for SQL []; SQL state [99999]; error code [17004]; 无效的列类型: 1111; nested exception is java.sql.SQLException: 无效的列类型: 1111查了下说
2016-03-04 16:24:49
9261
1
原创 Bean property 'addressService' is not writable or has an invalid setter method.
addressService不是可写的或有无效的setter方法AddressAction中的成员变量忘了getters，setters了。查了一下，如果applicationContext中的变量名首字母没有小写也会报这个错误。
2016-03-03 23:19:16
1020
转载 JSP中的几种注释
1）.JSP页面中的HTML注释SP页面中的HTML注释使用“”创建，它的具体形式如下所示：当它出现在JSP页面时，微蘑菇将不被原样地加入JSP响应中，而且将出现在生成的HTML代码中，此代码将发送给浏览器；然后有浏览器负责忽略此注释。由于 HTML注释不是简单地被JSP忽略，因此它们可以包含内嵌的动态内容。HTML注释内的JSP表达式将被计算和执行，并送给浏览器的响应。（2）
2016-03-03 09:40:37
2484
原创 JMS(点对点point-to-point)
需求：将用户登录信息（IP，用户名，密码，登录时间）传递到另一项目。pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org
2016-03-02 15:16:10
1052
转载 @Autowired与@Resource
1、 @Autowired与@Resource都可以用来装配bean. 都可以写在字段上,或写在setter方法上。2、 @Autowired默认按类型装配（这个注解是属于spring的），默认情况下必须要求依赖对象必须存在，如果要允许null值，可以设置它的required属性为false，如：@Autowired(required=false) ，如果我们想使用名称装配可以结合@Q
2016-03-02 10:25:35
466
转载 Vi(Vim)快捷键
转自：http://blog.csdn.net/sunboy_2050/article/details/6002837 vi（vim）是上Linux非常常用的编辑器，很多Linux发行版都默认安装了vi(vim)。vi(vim)命令繁多但是如果使用灵活之后将会大大提高效率。vi是“visual interface”的缩写，vim是vi IMproved(增强版的vi)。在一般的系统
2016-03-01 21:59:27
571
jce8&mysql.zip
2021-05-20
py4j-0.10.9.1-py2.py3-none-any.whl
2021-02-09
pyspark相关包.zip
2021-02-09
eagle-0.5.0-bin.tar.gz
2020-11-25
eagle-0.5.1-SNAPSHOT-bin.tar.gz
2020-11-25
libfb303-0.9.3.jar
2019-11-13
libfb303.jar
2019-11-05
Flume采集MySQL数据所需jar包.zip
2019-10-21
libclntsh.so.11.1
2019-08-01
linux.x64_11gR2_database Centos6.5 Oracle11g
2019-08-01
Centos6.5-Oracle11g离线安装所需依赖rpm包.zip
2019-08-01
cats_and_dogs_filtered.zip
2019-05-28
fashion-mnist.zip
2019-05-28
jdata_product.csv
2019-05-27
mysql离线安装rpm包
2018-07-05
ntp离线安装rpm包
2018-07-05
iris(鸢尾花卉)数据集-二分类
2017-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人