自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 The innodb_system data file 'ibdata1' must be writable

在安装MySQL的时候报的错,我理解的这个错是因为有个文件是Innodb需要在安装MySQL(或者创建数据库的时候)的时候需要写入这个文件,但是他现在没有写的权限。   日志中的错误是:  5.7版本以前是  chmod -R 777 /usr/local/mys...

2019-02-13 11:19:00

阅读数 10

评论数 0

转载 简单排序(冒泡排序,插入排序,选择排序)

简单排序(冒泡排序,插入排序,选择排序)这些算法思想是比较简单的,执行速度也相对慢一些,不过,在某些情况下比那些复杂算法实际上还要好一些,比如,对于小规模的文件以及基本有序的文件,插入算法能比快速排序算法更为有效。如何排序: 1 比较两个数据项 2 交换两个数据想,或者...

2018-07-12 06:42:00

阅读数 3

评论数 0

转载 Azkaban工作流调度器

Azkaban工作流调度器 在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。性能对比:安装:创建ssl配置keytool -keystore keystore -alias jetty...

2018-07-10 21:33:00

阅读数 2

评论数 0

转载 hive -- 自定义函数和Transform

hive -- 自定义函数和Transform UDF操作单行数据,UDAF:聚合函数,接受多行数据,并产生一个输出数据行UDTF:操作单个数据使用udf方法:第一种: add jar xxx.jar cteate temporary function 方法...

2018-07-10 17:53:00

阅读数 2

评论数 0

转载 hive -- 分区,分桶(创建,修改,删除)

hive -- 分区,分桶(创建,修改,删除)分区:静态创建分区: 1. 数据:john doe 10000.0 mary smith 8000.0 todd jones 7000.0 boss man 20000.0 freed finance 15000.0 stacy sab...

2018-07-09 23:47:00

阅读数 1

评论数 0

转载 hive -- 协同过滤sql语句

hive -- 协同过滤sql语句数据:*.3g.qq.com|腾讯应用宝|应用商店 *.91rb.com|91手机助手|应用商店 *.app.qq.com|腾讯应用宝|应用商店 *.haina.com|腾讯应用宝|应用商店 *.myapp.com|腾讯应用宝|应用商店 *....

2018-07-09 23:00:00

阅读数 8

评论数 0

转载 Hive - - 分组求最大,最小(加行键)

Hive - - 分组求最大,最小(加行键)数据:1325927 陕西 汉中 084 08491325928 陕西 汉中 084 08491325930 陕西 延安 084 08421325931 陕西 延安 084 08421325933 陕西 榆林 084 08451325935 陕西 榆林 ...

2018-07-09 22:51:00

阅读数 35

评论数 0

转载 hive的排序,分組练习

hive的排序,分組练习数据:添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, SOURCE string, TYPE string ) row ...

2018-07-09 19:28:00

阅读数 5

评论数 0

转载 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don...

2018-07-09 08:26:00

阅读数 4

评论数 0

转载 MapRdeuce&Yarn的工作机制(YarnChild是什么)

MapRdeuce&Yarn的工作机制一幅图解决你所有的困惑那天在集群中跑一个MapReduce的程序时,在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时YarnChild,当程序跑完后就没有了,神奇。后来百度了下,又问问了别的大佬。原来...

2018-07-06 08:40:00

阅读数 3

评论数 0

转载 Hive介绍及安装

Hive介绍及安装介绍: Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。简单来说,Hive就...

2018-07-05 19:56:00

阅读数 1

评论数 0

转载 海量日志采集Flume(HA)

海量日志采集Flume(HA)1.介绍: Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理...

2018-07-04 20:57:00

阅读数 9

评论数 0

转载 MapRedcue的demo(协同过滤)

MapRedcue的演示(协同过滤)做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。百度百科:协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息,个人通过合作的机制给予信息相当程度的回应(如评分)并记录下来以达到...

2018-07-02 15:18:00

阅读数 1

评论数 0

转载 索引(B-树)

前言本文是在讲述什么样的数据结构适合作为索引,以及其适合作为索引的原因。而阅读本文需要对B树和B+树结构有稍微的理解。以及需要对磁盘操作知识有稍微的了解。对于磁盘操作的相关知识,在文章尾部的链接文章中,有详细的介绍。在MySQL中,主要有四种类型的索引,分别为:B-Tree索引,Hash索引,Fu...

2018-06-29 11:19:00

阅读数 2

评论数 0

转载 MapReduce(五)

MapReduce的(五)1.MapReduce的多表关联查询。 根据文本数据格式。查询多个文本中的内容关联。查询。2.MapReduce的多任务窜执行的使用多任务的串联执行问题,主要是要建立controlledjob,然后建组管...

2018-06-29 11:10:00

阅读数 1

评论数 0

转载 ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2

报错,但不影响运行ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2eclipse 3.4+jdk1.6编译正常通过,运行debug模式时报错ERROR: JDWP Unable to g...

2018-06-28 09:25:00

阅读数 3

评论数 0

转载 MapReduce(三)

MapReduce(三)MapReduce(三): 1.关于倒叙排序前10名 1)TreeMap根据key排序 2)TreeSet排序,传入一个对象,排序按照类中的compareTo方法排序 2.写一个MapReduce的模...

2018-06-27 11:57:00

阅读数 1

评论数 0

转载 MapReduce- 数据的排序处理

MapReduce- 数据的排序处理package com.huhu.day02; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop...

2018-06-26 20:19:00

阅读数 1

评论数 0

转载 MapReduce(二)

MapReduce(二)mapreduce 将Text转化为对象进行处理数据。根据一来说,将date,classname,name,subject,score变为对象属性我的数据是:是有重复的。package com.huhu.day02; import java....

2018-06-26 19:31:00

阅读数 1

评论数 0

转载 MapReduce--平均分,最高,低分以及及格率的计算

MapReduce--平均分,最高,低分以及及格率的计算计算班级的平均分,以及个人的最高最低分,以及每个班级的及格率。来先看一下我的数据。时间 班级 姓名 科目 成绩 20180501 1708a1 li bishi 80 20180501 1708a1 li...

2018-06-26 14:23:00

阅读数 3

评论数 0

转载 MapReduce(一)

MapReduce(一)一。介绍百度百科:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方...

2018-06-25 21:22:00

阅读数 2

评论数 0

转载 fatal: refusing to merge unrelated histories

fatal: refusing to merge unrelated histories(git上传失败)输入命令:git pull origin master --allow-unrelated-histories这是因为远程仓库origin上的分支master和本地分支master被Git认为...

2018-06-25 11:25:00

阅读数 2

评论数 0

转载 IDEA上传一个项目到github

IDEA上传一个项目到github一。idea的配置1.打开idea设置setting2.点击ok,然后添加一个git创库3.选择你所要上传的项目,然后项目会变红4.添加到git此时项目变绿6.提交到本地二。git密钥配置1.打开git dosc命令输入ssh-kegen -t rsa -C...

2018-06-25 08:45:00

阅读数 2

评论数 0

转载 Git的安装

Git的安装1.进入https://git-scm.com/2.下载好安装包点击安装。3.选择放到本地磁盘4.next,创建桌面快捷方式5。-->next6.完成7.检测 转载于:https://www.cnblogs....

2018-06-24 21:13:00

阅读数 1

评论数 0

转载 Hibernate 加载策略得总结

Hibernate 加载策略得总结加载策略(优化查询): 策略种类: 延迟加载: 等到使用的时候才会加载数据. 立即加载: 不管使用不使用,都会立刻将数据加载. 策略的应用: 类级别的加载策略. 关联级别的加载策略-------------------------------...

2018-06-24 19:58:00

阅读数 7

评论数 0

转载 hadoop -- fsck

hadoop -- fsck shell命令: hdfs fsck /1708a1 -files -blocks -locations -racks /1708a1:是hdfs 中的文件查看hdfs文件状态。hadoop fsckUsage: DFSck <path> [...

2018-06-20 17:04:00

阅读数 1

评论数 0

转载 Hibernate -- lazy加载

Hibernate -- lazy加载hibernate类级别懒加载: lazy:true(默认)//类级别懒加载 //load方法 //class lazy属性 //默认值:true load获得时,会返回代理对...

2018-06-19 10:24:00

阅读数 2

评论数 0

转载 java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().

java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close(). at c...

2018-06-18 20:23:00

阅读数 3

评论数 0

转载 NOSQL -- Mongodb的简单操作与使用(win10)

NOSQL -- Mongodb的简单操作与使用(wins)MongoDB 创建集合:db.createCollection(name, options)use huhu db.createCollection("hehe") show collectionsdb.hehe.i...

2018-06-18 19:54:00

阅读数 6

评论数 0

转载 java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).

java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).java.sql.SQLException: Parameter index out of range (3 ...

2018-06-14 21:01:00

阅读数 2

评论数 0

转载 org.apache.ibatis.reflection.ReflectionException: There is no getter for property named 'list' in 'c

org.apache.ibatis.reflection.ReflectionException:Thereisnogetterforpropertynamed'list'in'classcom.bw.yun.pojo.Page'报了这个错。今天一直都在该这...

2018-06-14 00:56:00

阅读数 1

评论数 0

转载 java.sql.SQLException: Parameter index out of range (1 > number of parameters, which is 0).

java.sql.SQLException: Parameter index out of range (1 > number of parameters, which is 0). at com.mysql.jdbc.SQLError.createSQLException(SQLError...

2018-06-13 09:07:00

阅读数 10

评论数 0

转载 -bash: /etc/init.d/nginx: /bin/bash^M: bad interpreter: No such file or directory

-bash: /etc/init.d/nginx: /bin/bash^M:bad interpreter: No such file or directory这个使为了弄nginx自启的,然后在官网找了个shell脚本发现不行啊。。。。。。找啊找。。。。解决vi /etc/init.d/ngin...

2018-06-12 18:27:00

阅读数 21

评论数 0

转载 Linux -- 基于zookeeper的java api(二)

Linux -- 基于zookeeper的java api(二)写一个关于基于集群的zookeeper的自定义实现HA基于客户端和监控器:使用监控的方法查看每个注册过的节点的状态来做出操作。Watch:监控端package com.huhu.zookeeper; import java.util...

2018-06-12 16:02:00

阅读数 3

评论数 0

转载 NOSQL -- Mongodb的简单操作与使用(wins)

NOSQL -- Mongodb的简单操作与使用(wins)启动mongodb: 1.首先启动服务dos命令下:net start Mongndb 也可以查询服务,手动开启服务:完成后:2.启动后台mongodb后台shell有一些比较简单的操作:1.查看当前数据...

2018-06-12 14:01:00

阅读数 6

评论数 0

转载 NOSQL -- mongoDB的了解与安装(Wins10)

NOSQL -- mongoDB的了解与安装首先看看什么是nosql: 我的理解:非关系型数据库,大多是以map形式存储,map<key,value>,适合存储,查询。redis也是nosql。mongobd:MongoDB 是由C++语言编写的,是一个基于...

2018-06-12 12:51:00

阅读数 6

评论数 0

转载 Linux -- 基于zookeeper的java api(一)

Linux -- 基于zookeeper的java api首先启动你所有的zkService.sh 查看状态:检查是否启动正确[root@hu-hadoop2 ~]# zkServer.sh status ZooKeeper JMX enabled by default Using ...

2018-06-12 11:16:00

阅读数 3

评论数 0

转载 linux -- 基于zookeeper搭建yarn的HA高可用集群

linux -- 基于zookeeper搭建yarn的HA高可用集群实现方式:配置yarn-site.xml配置文件<configuration> <property> <name>yarn.resourcemana...

2018-06-11 23:20:00

阅读数 3

评论数 0

转载 Hadoop格式化 From hu-hadoop1/192.168.11.11 to hu-hadoop2:8485 failed on connection exception: java.net....

192.168.11.12:8485: Call From hu-hadoop1/192.168.11.11 to hu-hadoop2:8485 failed on connection exception: java.net.ConnectException: Connection refus...

2018-06-11 19:12:00

阅读数 9

评论数 0

转载 Directory /home/hdfs/name is in an inconsistent state: storage directory does not exist or is not a

2018-06-11 17:50:36,896 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimageorg.apache.hadoop.hdfs.server....

2018-06-11 19:07:00

阅读数 4

评论数 0

提示
确定要删除当前文章?
取消 删除