自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

因为刚开始学,理解不到位,有错误的地方希望指正。

  • 博客(27)
  • 资源 (1)
  • 收藏
  • 关注

转载 JAVA面试题集锦

Java面试题(01)Java面试题(02)Java面试题(03)Java面试题(04)Java面试题(05)Java面试题(06)Java面试题(07)Java面试题(08)Java面试题(09)Java面试题(10)Java面试题(11)Java面试题(12)Java面试题(13)...

2018-09-28 16:29:21 15500 11

转载 算法和编程面试题精选TOP50!(附代码+解题思路+答案)

作者 | javinpaul编译 | 王天宇、Jane整理 | Jane出品 | AI科技大本营【导读】之前我们给同学们推荐了很多关于 Python 的面试资源,大家都表示很有用。这次营长表示要翻 Java 的牌子啦~ 应大家的强烈反馈,我们找了一套 Java 语言的算法和编程的面试题。这份面试资源主要包含五部分内容:数组、链表、字符串、二叉树和重要算法(如排序算法)的编程面试题,其中每...

2018-09-28 08:56:38 1810 3

转载 Linux环境下搭建Apache服务器(完整版)

Linux下搭建Apache服务器(完整版)什么是Apache?Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再发布(作为开源或商业软件)。需要满足的条件也和BSD类似Apache主要特点1、开放源代码、跨平台应用2、支持多种网页编程语言3、模块化设计 、运行稳定...

2018-09-26 14:59:26 28302 2

原创 Flume安装和实时读取HIVE的日志

一、解压tar包二、配置环境变量1、Flume安装在Hadoop集群中export JAVA_HOME=/usr/lib/jvm/java-6-sun2、Flume安装在了Hadoop集群中,配置HA#export JAVA_HOME=还需要把Hadoop中的core-site.xml hdfs-site.xml 拷贝到Flume的conf目录下。3、没有安装在集群中export...

2018-09-26 14:44:45 537

原创 Flume

一、概述Cloudera 公司开发的实时的日志采集-> 捐献给了apache适用于实时的数据分析 (spark)同样也可以用于离线的分析 (hive)Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amou...

2018-09-26 14:29:26 178

原创 MapReduce处理数据

1、编写自定义类如果写二次排序的话再在里面添加package org.hdfs.urlMapReduce;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class...

2018-09-25 11:40:42 1249

原创 HIVE与HBase的集成

作用:将HBase的数据映射到HIVE表中。HIVE表类型:管理表:在HIVE表中建表的同时在HBase中不存在该表,HBase创建相同的表·,数据不是在HIVE中而是在HBase中。外部表:在HIVE中建表,同时HBase的表要提前存在,数据同样存储在HBase中。(你创建的外部表的数据来源于HBase中)框架之间的继承操作,首先考虑的是jar包:可以把HIVE集成HBase...

2018-09-25 11:12:11 1086

转载 用hive解决数据的查找问题(影评案例)

现有如此三份数据:1、users.dat    数据格式为:  2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Ju...

2018-09-23 17:59:39 992 2

转载 group by 多个字段

首先group by 的简单说明:   group by 一般和聚合函数一起使用才有意义,比如 count sum avg等,使用group by的两个要素:   (1) 出现在select后面的字段 要么是是聚合函数中的,要么就是group by 中的.   (2) 要筛选结果 可以先使用where 再用group by 或者先用...

2018-09-23 15:26:06 5849

转载 JDK的安装及环境部署

from: https://blog.csdn.net/u012934325/article/details/73441617/1.JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html点开链接你应该看到如下图所示的界面: 2.点击上图中箭头所指的地方,会出现下面的这个界面,此时你...

2018-09-22 12:11:48 3777

原创 HBase的优化

HBase的优化

2018-09-21 12:00:26 147

转载 HBase的RowKey设计

转载出自:https://blog.csdn.net/silentwolfyh/article/details/51620724#t1 阅读目录2.1.1 Rowkey长度原则2.1.2 Rowkey散列原则2.1.3 Rowkey唯一原则2.2.1 针对事务数据Rowkey设计2.2.2 针对统计数据的Rowkey设计2.2.3 针对通用数据的Rowkey设计2.2.4 支持多条件...

2018-09-21 10:50:24 518

原创 HBase表的分区

Table RegionsNameRegion ServerStart KeyEnd KeyRequeststt2,1537493510149.5a01a3698ddcb718c2c38137a912eada.hh:600201000000tt2,100000,1537493510149.d6e0352bda247d949c428d5410512c18....

2018-09-21 09:38:49 2767

原创 Mapreduce于HBase集成

Mapreduce于HBase集成集成的模式从hbase中读取数据,Hbase的数据作为map的输入,输出可以任意指定.将数据写入Hbase,将hbase作为reduce的输出,输入可以任意指定.从hbase中读 最终在写入到hbase中,场景: 数据迁移.在hbase中已经封装好了jar包:hbase-server-0.98.6-cdh5.3.6.jar1、环境的配置将hbas...

2018-09-20 22:42:13 353

原创 Pom文件的错误

Pom导入包第一行出现错误项目从JAVA转到MAVEN的时候加载包出错了。因为网不好,包没有加载全。我的Maven没有选中 ,要选中这个Maven。要么是我这里没有选中Maven的lib包...

2018-09-19 17:19:57 2159

原创 HBase的JAVA_API

HBase的JAVA_API先加载包<?xml version="1.0"?>&

2018-09-19 17:13:36 146

转载 HBase官方文档中文版

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-e2445db1a8.css"> <div class="htmledit_views"&

2018-09-19 10:41:43 5938

原创 fsimage与editslog

fsimage与editslogNameNode中的元数据是在内存中用ArrayList保存的,但是要考虑到如果电脑停电了突然关机了,那么NameNode中的元数据就被释放掉没有了,所以就有editslog,editslog包含了元数据还有一系列的操作。如果要使用这些数据,在开机的时候就会加载editslog,恢复到关机之前的场景,因为我们处理的是大数据,里面有亿万级的操作,每次开机的时候很慢...

2018-09-18 19:52:32 886 1

原创 HBase的命令

Hbase的基本命令进入语句bin/hbase shell要想删除内容就得先把会话界面修改成Linux。 然后用Ctrl+Backspace组合键进行删除。创建命名空间域

2018-09-17 19:39:39 252

原创 HBase基础知识

1、Hbase的概念HBase 的原型是 Google 的 BigTable 论文,受到了该论文思想的启发,目前作为 Hadoop 的 子项目来开发维护,用于支持结构化的数据存储。 官方网站:http://hbase.apache.org2006 年 Google 发表 BigTable 白皮书2006 年开始开发 HBase2008 年北京成功开奥运会,程序员默默地将 HBas...

2018-09-17 15:36:55 324

原创 Hbase的安装

Hbase安装1 解压hbase的安装包2 配置conf/配置文件配置Hbase-env.sh给定java的安装路径export JAVA_HOME=/opt/app/jdk1.8.0_181设置hbase自带zk为false 表示不使用hbase自带的zkexport HBASE_MANAGES_ZK=false 配置 hbase-site.xml...

2018-09-17 14:58:15 153

原创 HIVE之优化

HIVE优化1、表和sql语句的优化思想: 大表拆分成小表,分区表,(动态分区)有可能产生大量的分区,外部表(保证数据安全),临时表是将表的数据清洗,获得想要的字段。2、MR优化思想: HIVE中底层运行的是MR程序,所以也要对MR进行优化。并行执行: 在map运行过程中,有的时候需要存在依赖关系。 例如:做单词统计,一个map做完单词统计,下一个map的输入正好是...

2018-09-17 13:58:26 216

原创 伪分布式安装zookeeper

前提:在一台机器上运行三个zk服务cd ~/bigdater/softs; wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.3.6.tar.gz cd ..; tar -zxvf softs/zookeeper-3.4.5-cdh5.3.6.tar.gz mv zookeeper-3.4.5-cdh5.3...

2018-09-17 11:27:54 1233

原创 Hive中四种 join on筛选条件与where筛选条件的区别

tableA的结构及数据:id name grade dept 1 lijie1 100.0 102 lijie2 90.0 203 lijie3 60.0 104 lijie4 80.0 105 lijie5 70.0 20tableB的结构及数据:id name 1...

2018-09-16 21:39:51 15552 2

原创 Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable刚刚关我的jps出现了关不掉的问题,我重新连接然后再关掉就可以了,我也不知道是什么错误。...

2018-09-15 22:20:10 518

原创 Sqooop使用模板

Sqoop使用模板Sqoop使用模板1、测试连接数据库2、将数据从MySQL导入到HDFS1、导入到默认的HDFS路径2、导入到自定义路径3、设置map的数量,以及删除目标文件夹,防止目标路径已存在4、设置map的数量,以及删除目标文件夹,以及指定导出分隔符3、将数据从MySQL导入到hive中4、将数据从HDFS导出到MySQL中5、将数据从hive导出到M...

2018-09-15 20:53:35 350

原创 HIVE的模板

HIVE的使用模板1、显示所有数据库show databases;2、显示数据库所有的表use mydatabase;show tables;3、查询表中的内容select * from mytable;4、显示表的结构desc mytable;5、创建数据库create database mydatabase;6、清空表内...

2018-09-15 20:05:07 607 2

JAVA零基础算法练习题

这个是JAVA的零基础算法题,适用JAVA的初学者,在这里分享给大家。

2018-10-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除