2017年08月_Miss Chim

原创 Sqoop的安装配置

一.sqoop的功能sqoop是实现hadoop与关系数据库（RDBMS）之间的数据迁移工具。通过Sqoop可以方便的将RDBMS的数据和hdfs、hbase、hive上的数据进行相互导入导出。二.sqoop的安装1.下载压缩包 https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__had

2017-08-21 23:39:21 595 1

原创 hadoop 伪分布配置

前提条件：配置好集群环境1.cd /home/xzs/soft/hadoop-2.6.0/etc/hadoop/slaves把slaves上的slave1删掉，只留master.

2017-08-21 23:18:32 458

原创 myeclipse新导入项目基本配置

1.连接tomcatcomfigure server--> servers-->Tomcat-->选择你要的tomcat版本2.3.右键项目工程-->>properties->>java bulid path -->>>libraries -->>add library -->>JRE System Library

2017-08-21 12:41:17 1405

原创 Hadoop工具安装--Hive

1.下载安装包http://apache.fayea.com/apache-mirror/hive/stable/apache-hive-1.1.0-bin.tar.gz 2.安装（1）上传包--上传hive包到/home/hadoop上（2）解压 tar–zxvf apache-hive-1.1.0-bin.tar.gz（或者直接在ubuntu图形界面上解压安装包）（

2017-08-17 23:54:11 404

原创 WordCount计数--第一个MapReduce程序

最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输入（input）和输出（output）。main 函数将作业控制和文件输入/输出结合起来。并行读取文本中的内容，

2017-08-16 15:30:16 445

原创 secureFX 【文件】could not be opened by servre拒绝访问

secureFX 【文件】could not be opened by servre拒绝访问在window和linux之间传文件时，遇到这个报错：分析：window和linux用户之间连接成功，但是文件不能被打开，问题是出在window那里的。解决方法：用管理员身份运行程序，再连接

2017-08-11 16:15:11 7961 4

原创 hadoop集群安装部署

目标：集群，运行mr一个例子1.克隆3台机子，组成一个集群 2.hostname,ip3.ssh --难点4.配置环境变量5.配置-hadoop的配置文件6.格式化分布式文件系统集群安装部署准备：在hadoop单例模式上克隆ubuntu克隆：虚拟机-> 克隆完毕！1.修改主机名$sudo ged

2017-08-10 23:24:41 517

原创如何扩充vmware中ubuntu的硬盘空间？

问题描述：安装ubuntu时，分配的内存空间是5G，在做项目时，发现内存不够用，如何扩充？在不重装的前提下，可以进行如下操作： 1.在关机状态下设置VMmare中虚拟机配置-硬盘大小首先关闭要修改硬盘空间的虚拟机，然后：虚拟机-> 设置-> 硬盘-> 扩展-> 我把它设为想要的大小G 2.安装在ubuntu中安装Gparted：sudo apt-get ins

2017-08-09 14:33:27 1016

原创如何将windows的文件拉到ubuntu上？

使用第三方工具：

2017-08-08 21:45:04 31177

原创 hadoop单例模式安装运行

一、linux基本操作命令修改root密码【sudo passwd】输入新的密码显示当前路径【pwd】更改用户的密码【passwd 用户名】切换到root用户【su】 - > root #exit从root切换到普通用户【su 用户名】显示详细信息【ls -al】创建新文件夹【mkdir 文件夹名】设置改变文件的权限【chmod 754 file】

2017-08-08 21:32:53 782 1

原创 1.大数据入门

1.什么是大数据？4V？大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据 = “海量数据”+“复杂类型的数据”。大数据的4V：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据（big data），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据

2017-08-08 19:33:41 2080

Elrah的博客