- 博客(532)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
原创 CDH5.14定期清理指南
目录:1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1)将默认的备份数3设置为2。 步鄹:CDH–>HDFS–>配置–>复制因子–>设置为2 2)执行命令:
2017-01-03 16:25:12 10281
原创 HDFS 的Trash回收站功能的配置、使用
文件的删除和恢复 和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在Name
2016-12-28 11:40:29 12681
原创 Druid:Druid.io 部署&使用文档
参考:http://lxw1234.com/archives/2015/11/554.htm 海量数据实时OLAP分析系统-Druid.io安装配置和体验 http://druid.io/docs/0.9.2/design/design.html Druid官网搭建Druid.io 部署&使用文档1.集群模式下部署 Prerequisites : Java 7 or higher & Z
2016-12-23 19:57:47 10087 3
原创 Json:scala 解析json字符串,获取多级key (2)
import com.alibaba.fastjson.JSON/** * Created by yuhui on 2016/12/20. */object Test{ def main(args: Array[String]): Unit = { val json = "{\"user_details\":{\"data_column\":\"suuid\"},\"fliter\
2016-12-21 13:09:19 4533
原创 Java之父求职被嫌年纪大:程序员只能吃青春饭?
硅谷常自喻为自由和开放,可近年来对那些年长的科技从业者却越来越不友好。不久前,61岁的Java之父James Gosling在Facebook上发表了他所遭遇的年龄歧视: 我曾在面试的时候被HR告知,“通常我们不招你这种年龄的程序员,但你的情况特殊(指的是他Java之父的身份),所以对你特殊考虑。”在Google工作的时候,听到几个30多岁的人在讨论要去整容变得年轻点。 Ja
2016-11-29 12:52:51 7295 4
原创 通过一条SQL分析SparkSQL执行过程(三)
<!--Json --><dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <version>2.4</version> <classifier>jdk15</classifier></dependency>package com.donews.data
2016-11-22 15:00:52 3057
原创 Json:scala 解析json字符串,变成对象
第一种package com.donewsimport com.fasterxml.jackson.databind.ObjectMapperimport com.fasterxml.jackson.module.scala.DefaultScalaModuleobject Test { def main(args: Array[String]): Unit = { ...
2016-11-22 10:31:18 15271 3
原创 通过一条SQL分析SparkSQL执行流程(二)
package com.donewsimport scala.util.parsing.json.JSONobject Test { def regixJson(json:Option[Any]) =json match { case Some(map: Map[String, Any]) => map } def main(args: Array[String]): Unit
2016-11-22 10:18:40 7149
原创 程序中的配置文件放入Mysql中(scala版本)
目录:1、需求 2、文件内容 3、代码如下 4、截图如下需求:1、将程序中的配置文件写入到Mysql,便于修改配置 2、application.conf只要写mysql的信息文件内容1、application.conf 放入Mysql的信息 2、webConfig.scala 获取变量参数 3、DBHelper.scala 读取Mysql数据代码如下:applicati
2016-11-18 12:56:48 1946 4
转载 [编程语言]SparkTask未序列化(Task not serializable)问题分析
问题描述及原因分析 在编写Spark程序中,由于在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问题。然而,Spark算子在计算过程中使用外部变量在许多情形下确实在所难免,比如在filter算子根据外部指定的条件进行过滤,map根据相应的配置进行变换等。为了解决上述Task未序列化问题,这里对其进行了研究和总结。 出现“org.apache.spark.
2016-11-16 16:27:06 4697
原创 接口
请参考:深入理解Java的接口和抽象类 http://blog.csdn.net/silentwolfyh/article/details/52884434Java 接口1)接口(英文:Interface),在JAVA编程语言中是一个抽象类型,是抽象方法的集合,接口通常以interface来声明。一个类通过继承接口的方式,从而来继承接口的抽象方法。 2)接口并不是类,编写接口的方式和类很相似
2016-11-06 16:45:30 557
原创 多态
多态概念1) 多态是同一个行为具有多个不同表现形式或形态的能力。 2) 多态性是对象多种表现形式的体现。 3) 多态就是同一个接口,使用不同的实例而执行不同操作,如图所示: 多态的优点1) 消除类型之间的耦合关系 2)可替换性 3)可扩充性 4)接口性 5)灵活性 6) 简化性多态存在的三个必要条件1)继承 2)重写 3)父类引用指向子类对象,eg: 代码如下: packag
2016-11-06 16:33:14 573
原创 抽象类
抽象类概念 1)在面向对象的概念中,所有的对象都是通过类来描绘的,但是反过来,并不是所有的类都是用来描绘对象的,如果一个类中没有包含足够的信息来描绘一个具体的对象,这样的类就是抽象类。 2)抽象类除了不能实例化对象之外,类的其它功能依然存在,成员变量、成员方法和构造方法的访问方式和普通类一样。 3)由于抽象类不能实例化对象,所以抽象类必须被继承,才能被使用
2016-11-06 16:22:19 503
原创 java基础:java的静态代码块执行
Java代码:“` class MyClass1 { static {//静态块 System.out.println(“static block “); } } public class MyClass2 { Class[] classArray = { MyClass1.cl
2016-11-06 15:34:48 750
原创 继承(2)初始化执行顺序
初始化的顺序(1)执行顺序: 静态代码块 –> 构造代码块 –> 构造方法 默认初始化>显式初始化>构造代码块初始化>构造方法初始化 (2)注意事项: 静态代码块只执行一次 (3)类的初始化 在对子类对象进行初始化时,父类的构造函数也会运行,那是因为子类的构造函数默认第一行有一条隐式的语句 super();super():会访问父类
2016-11-06 15:23:38 471
原创 继承(1)
继承的概念继承是java面向对象编程技术的一块基石,因为它允许创建分等级层次的类。 继承就是子类继承父类的特征和行为,使得子类具有父类的各种属性和方法,或子类从父类继承方法,使得子类具有父类相同的行为。 继承特点1)Java只支持单继承,不支持多继承。 2)Java支持多层继承(继承体系) 3)把多个类中的相同的属性和行为进行抽取,封装到一个类中,然后再建立新类的时候,不需要从头做起,继承刚才
2016-11-06 14:58:35 576
原创 封装
封装(英语:Encapsulation)是指,一种将抽象性函式接口的实作细节部份包装、隐藏起来的方法。 封装可以被认为是一个保护屏障,防止该类的代码和数据被外部类定义的代码随机访问。 要访问该类的代码和数据,必须通过严格的接口控制。 封装最主要的功能在于我们能修改自己的实现代码,而不用修改那些调用我们代码的程序片段。 适当的封装可以让程式码更容易理解与维护,也加强了程式码的安全性。封装特点
2016-11-05 21:13:31 708
原创 构造函数和一般函数(3)代码块
Java有3种代码块: (1)普通代码块,在程序之中 (2)构造代码块,在类之中 (3)静态代码块,在类之中 (4)同步代码块,主要出现在多线程中。执行顺序:静态代码,代码块,构造方法,一般方法 备注:如果有两个同类的代码块,则按照顺序执行。main函数中按照进程执行。package com.yuhui;public class People{ { System.ou
2016-11-05 20:46:51 580
原创 构造函数和一般函数(2)重载
重载 (1) 方法重载是让类以统一的方式处理不同类型数据的一种手段。多个同名函数同时存在,具有不同的参数个数/类型。重载Overloading是一个类中多态性的一种表现。(2) Java的方法重载,就是在类中可以创建多个方法,它们具有相同的名字,但具有不同的参数和不同的定义。调用方法时通过传递给它们的不同参数个数和参数类型来决定具体使用哪个方法, 这就是多态性。(3) 重载的时候,方法名要一样,但
2016-11-05 20:24:23 486
原创 构造函数和一般函数(1)
构造函数 构造函数是一种特殊的函数。其主要功能是用来在创建对象时初始化对象,即为对象成员变量赋初始值,总与new运算符一起使用在创建对象的语句中。构造函数与类名相同,可重载多个不同的构造函数。在JAVA语言中,构造函数与C++语言中的构造函数相同,JAVA语言中普遍称之为构造方法。构造函数和一般函数的区别1、在运行上也有不同。 构造函数是在对象一建立就运行。给对象初始化。构造函数只运行一次。
2016-11-05 20:06:46 727
原创 类和对象
面向对象:是基于面向过程的一种思想,他能让复杂问题简单化,它能让我们的角色转变,执行者变成指挥者。 eg:水杯能盛水,我们只要调用水杯能盛水的功能就行,而不需要知道水杯的制造,那是与我们是没有关系的。我们只管使用它的功能。类:将现实生活中具备属性和功能的事物抽象成Java当中的类。 eg:人的属性有年龄,名字。功能有吃饭。对象:类的实例化。一个类可以有多个对象。实例化对象的创建格式: 类名
2016-11-05 19:52:26 450
原创 java项目命名规范
一、命名规范1、 项目名全部小写 eg : donews_bigdata2、 包名全部小写 eg : com.donews.kafkatohbase3、 类名首字母大写,如果类名由多个单词组成,每个单词的首字母都要大写。 eg:public class MyFirstClass{}4、 变量名、方法名首字母小写,如果名称由多个单词组成,则后面的单词则建议用大写字母开头。 eg:int in
2016-11-04 22:27:12 1492
原创 Mysql:Mysql主键
主键没有着明确的概念定义,其是索引的一种,并且是唯一性索引的一种,且必须定义为“PRIMARY KEY”,是只可意会不可言传的东西。下面让我用通俗,甚至有些低俗的语言为您简单介绍一下MySQL的主键。 简单描述: 主键不能重复,就像QQ的用户名,有N个叫“虫zi”的网友,可是他们的QQ号码是不一样的,也就是说真正标识一个QQ的身份是“QQ号码”。还有那万恶的身份证,无论“张
2016-11-01 14:47:32 1190
原创 Kafka:无丢失将kafka的值读取到hbase
目录1、需求2、代码1、需求功能:将kafka数据读取到HBASE中 步鄹: 1、提取topicName在zookeeper中的offset 2、循环读取topicName中的offset且对比zookeeper中的offset 3、将提取的数据转为DF 4、存储到Hbase中备注:博文中使用到了Zookeeper的使用,请查考下面博
2016-10-31 19:44:25 5690
原创 Zookeeper:Curator框架应用和常用命令
目录CuratorFramework介绍scala代码体现scala代码结果Linux命令1)CuratorFramework介绍 Curator框架提供了一套高级的API, 简化了ZooKeeper的操作。 它增加了很多使用ZooKeeper开发的特性,可以处理ZooKeeper集群复杂的连接管理和重试机制。 这些特性包括:自动化的连接管理: 重新建立到ZooKeeper的连接和重试机
2016-10-31 19:18:10 2442
原创 通过一条SQL分析SparkSQL执行流程(一)
本地连接集群运行Saprk程序两种方式目录1)通过Maven(简单一些,建议用这种)2)下载Saprk环境1)通过Maven 备注:java是1.8版本,scala是2.11.6版本 maven中加入的依赖如下: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</
2016-10-31 09:12:39 3074
原创 深入理解Java的接口和抽象类
对于面向对象编程来说,抽象是它的一大特征之一。在Java中,可以通过两种形式来体现OOP的抽象:接口和抽象类。这两者有太多相似的地方,又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用,但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲:目录一.抽象类二.接口三.抽象类和接口的区别一.抽象类 在了解抽象类之前,先来了解一下抽象方法。抽象方
2016-10-21 16:04:09 689
原创 kafka:python获取kafka的值
需求:获取通过python查看kafka中的值#!/user/local/python2.6.6/bin/python# -*- coding: utf-8 -*-# __project__ = src# __author__ = kassien@163.com# __date__ = 2016-09-21 # __time__ = 12:49#kafka的节点kafka_list =
2016-10-19 16:58:41 8408
原创 设计模式:23种设计模式综述
设计模式(Design Patterns) ——可复用面向对象软件的基础 设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,
2016-10-17 22:12:39 2046
原创 设计模式:Command(命令)
Command定义 将来自客户端的请求传入一个对象,无需了解这个请求激活的 动作或有关接受这个请求的处理细节。 这是一种两台机器之间通讯联系性质的模式,类似传统过程语 言的 CallBack功能。优点: 解耦了发送者和接受者之间联系。 发送者调用一个操作,接受者接受请求执行相应的动作,因为使用Command模式解耦,发送者无需知道接受者任何接口。 不少
2016-10-17 16:09:59 2098 1
转载 “前首富”牟其中:欠的人情太多,要留着命来还
出狱后,牟其中换了身新衣服 “这里通向世界。” 这句话,刻在牟其中母亲墓碑上,是他亲笔写的墓志铭。 “因为母亲养育了我,无论走了多远,做了多大的事情,我的起点在这,根在这儿。”牟其中说,“这句话是我第一次坐牢的时候想到的。” 从1985年离开家乡,到2016年9月28日回乡,31年,牟其中从起点绕一个圈后又会回到起点。 不同的是,当年的四川
2016-10-13 22:31:23 622
原创 Scala:使用 for-yield 表达式打印乘法表
在《Programming in Scala》中作者说,“Scala 中的 for 表达式对于迭代就像一把瑞士军刀”。可见,for 表达式的使用在 Scala 中出于多么重要的位置。我们可以使用for 表达式来简洁地完成迭代枚举的功能。与 Java 等不同的是,Scala 中有个生成器(generator)的概念,它的语法是 1 to 10 或者 1 until 10 ,前者代表从 1 到 10 进
2016-10-10 15:14:24 854
原创 命令行:获取用户命令行参数Option
运行参数:代码package com.donews.data.hbaseuserimport java.time.LocalDateimport com.donews.data.util.Datesimport org.apache.commons.cli.{GnuParser, HelpFormatter, Options}object JdkLogTest{ def main(args:
2016-10-10 10:37:52 3425
原创 phoenix修改表名
需求:在phoenix中将表名TABLE1,改为表名TABLE2步鄹:1)phoenix建立表名TABLE1 2)Hbase中修改表名TABLE1为TABLE2 3)phoenix建立表名TABLE2(格式同TABLE1) 4)查询phoenix中TABLE2//phoenix中的操作DROP TABLE TABLE2;CREATE TABLE TABLE1 (ID VARCHAR NOT
2016-10-09 17:40:34 2965 1
原创 需要记住的人
牟其中 牟其中,南德集团前董事长。1941年生,汉族,重庆万州人。一个把口号喊遍中国的富豪,一个曾同时肩负中国“首富”和“首骗”两个名号的备受争议的人物。300元钱起家,办了三件大事:飞机易货、卫星发射、开发满洲里。因南德集团信用证诈骗案入狱,2000年被判无期徒刑,后因表现好,改为有期徒刑18年。 2016年9月27日早上6时15分,商界传奇人物牟其中出狱。褚时健 (中
2016-09-28 09:10:09 776
原创 Spark的一些问题
yarn资源申请不足,导致任务持续等待2016-09-20 16:49:25,657 [WARN ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are re
2016-09-20 17:24:05 1012 2
原创 五大主流数据库模型
前言:无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界。什么是数据模型? 访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供或多或少的功能。一般而言,数据模型不会直接提供过多的功能,许多功能必须由客户端自行实现。
2016-09-11 14:56:54 3334
原创 Error:java: Compilation failed: internal java compiler error
set中java complier 设置的问题 ,项目中有人用jdk1.6 有人用jdk1.7 版本不一样 会一起这个错误进行如下操作:
2016-09-10 13:02:37 746
原创 5年时间,研究177位百万富翁,发现这13条规律
他们从普通人转变成有着七位数财产的成功人士的原因之一,在于其“富有的习惯”。这个短语是托马斯·科里生造的,他花了五年时间研究了177位自力更生的百万富翁的日常习惯。 以下就是一些你可以从今天就开始培养的,百万富翁们的一些“富有的习惯”:1.他们经常阅读 比尔·盖茨常常阅读 富人更愿意学习,而非娱乐。88%的富人每天会至少阅读30分钟,内容以自学和自我提升类阅读为主。
2016-09-09 22:59:10 1326
原创 Docker:删除images报错(Error response from daemon: conflict: unable to remove repository reference)
[root@hadoop14 ~]# docker rmi ubuntu:v2Failed to remove image (ubuntu:v2): Error response from daemon: conflict: unable to remove repository reference "ubuntu:v2" (must force) - container d63a819c3eaf
2016-08-29 16:38:12 30004 1
Mysql教程所有数据.zip
2020-05-05
crawlerBank.py
2019-07-08
SpringBoot的mvc三层以及增删改查页面
2018-11-22
spring boot+mybatis整合
2018-11-12
Lucene实战(第2版).pdf
2018-08-28
SparkSql技术
2018-08-16
hadoop-Apache2.7.3+Spark2.0集群搭建
2018-08-16
stable-diffusion-webui启动报错
2024-05-13
微博对一条微博进行评论API
2023-05-17
调用JEECG微博发帖API异常
2023-05-17
mac版本idea中路径颜色设置
2020-03-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人