自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

转载 Hadoop全分布集群问题及配置

首先要让电脑之间能够访问别名 配置hosts文件(只需要对主机192.168.18.129(hadoop1)进行操作,然后通过scp命令将这些配置分发给其他电脑即可),但我全部都配置了操作192.168.18.129机器(主机)vi /etc/hosts 添加下面内容 让电脑只有名字就知道是哪台,不一定要用IP 192.168.80.129 master 192.168.80.130 sla

2017-07-18 11:00:34 703

原创 Eclipse中配置hadoop开发环境

1.先将插件(一定要对应版本,我的是2.7.3)放在eclipse下的D:\eclipse\plugins下。2.将虚拟机里面或者下载的hadoop文件放在主机里面,比如D:/HADOOP/hadoop-2.7.3, 将里面的三个配置文件和slave文件里面的localhost全部修改成虚拟机的IP地址 (我的这个是192.168.18.129)虚拟机里面的hadoop也和这边配置一样,所以

2017-07-18 10:57:36 497

原创 Hive如何将数据导出

如何从表中导出数据,如果数据文件与用户需要的格式一样的话:hadoop fs -cp ‘/user/neil/test’ ‘/home/neil/Downloads/test’否则使用insert ….Directory.. insert overwrite local directory ‘/tmp/ca_employees’ select name,salary,address from e

2017-07-18 10:56:06 369

转载 hadoop连接mysql数据库执行数据读写数据库操作

hadoop连接mysql数据库执行数据读写数据库操作为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS,根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 运行MapReduce时候报错:jav

2017-07-18 10:55:28 860

转载 Sqoop安装配置教程

1.安装部署 (1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到/home/neil/Downloads/hadoop-2.7.3/sqoop-1.4.6 (2)、拷贝MySQL的jdbc驱动包mysql-connector-java-5.1.31-bin.jar到sqoop/lib目录

2017-07-18 10:54:38 483

原创 如何以最快的速度了解并使用HIVE数据库

如何以最快的速度了解并使用HIVE数据库,下面将给出一个笔记(里面的一些术语如是不清楚,先去了解下hadoop语法后再来看这个会比较好)1.用hive命令开始服务,当然之前一定要开启hadoop服务 然后关闭安全模式 2.创建表 create table hivetable (id int, user string, age int, tel s

2017-07-18 10:49:32 457

原创 如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子

如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子,可以给大家参

2017-07-18 10:44:42 462

转载 SQL优化大全

SQL优化大全 1. 通过 show status和应用特点了解各种 SQL的执行频率 通过 SHOW STATUS 可以提供服务器状态信息,也可以使用 mysqladmin extende d-status 命令获得。 SHOW STATUS 可以根据需要显示 session 级别的统计结果和 global级别的统计结果。 如显示当前session: SHOW STA

2017-07-18 10:42:18 325

原创 利用unbuntu在虚拟机下配置Linux与hadoop的环境

**利用unbuntu在虚拟机下配置Linux与hadoop的环境,并测试结果 如题目,下面就是个人在研究大数据时的一些笔记**一.Linux环境 1.安装好unbuntu 2.首先安装更新 sudo apt-get update sudo apt-get upgrade 3.ssh安装 sudo apt-get install ssh4.开启免密码登录 ssh-ke

2017-07-18 10:40:36 539

原创 如何配置eclipse访问虚拟机进行hadoop编程

最近研究了一下HADOOP,所以在LINUX上做一些配置后想测试编程,由于之前一直都用eclipse编写JAVA,所以研究了一下如何配置eclipse访问虚拟机进行编程,现将方法共享一下,(注:我用的是hadoop2.7.3,linux用的的是乌班图)

2017-07-18 10:33:01 785

原创 hibernate如何调用存储过程

一般我们用PL/SQL写好存储过程后,用JDBC调用的比较多,如何你想用hibernate,那怎么调用存储过程呢? 下面我们来看看Hibernate调用Oracle的存储过程 的几种方式 1.先创建一个存储过程如下: create Procedure proc() begin       select * from user; end;       create procedu

2017-07-17 16:39:19 11864

原创 MYSQL如何开启远程访问连接HIVE

看到这个说明,有些小白可能会不太明白到底是什么意思?这里要提前说明一下,我们安装在自己电脑上的MYSQL一般测试用时,都用localhost来做连接,但如果让别人的电脑能够连接你安装的这个MYSQL服务器,你会发现默认是不行的,所以要开启远程访问,在此基础上,我们下面会以HIVE为基础,来看看如何操作HIVE与MYSQL之间的远程操作: 操作步骤如下: 1.开启MYSQL远程连接

2017-07-13 12:11:08 1795

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除