- 博客(11)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
原创 Kafka:无丢失将kafka的值读取到hbase
目录1、需求2、代码1、需求功能:将kafka数据读取到HBASE中 步鄹: 1、提取topicName在zookeeper中的offset 2、循环读取topicName中的offset且对比zookeeper中的offset 3、将提取的数据转为DF 4、存储到Hbase中备注:博文中使用到了Zookeeper的使用,请查考下面博
2016-10-31 19:44:25 5694
原创 Zookeeper:Curator框架应用和常用命令
目录CuratorFramework介绍scala代码体现scala代码结果Linux命令1)CuratorFramework介绍 Curator框架提供了一套高级的API, 简化了ZooKeeper的操作。 它增加了很多使用ZooKeeper开发的特性,可以处理ZooKeeper集群复杂的连接管理和重试机制。 这些特性包括:自动化的连接管理: 重新建立到ZooKeeper的连接和重试机
2016-10-31 19:18:10 2442
原创 通过一条SQL分析SparkSQL执行流程(一)
本地连接集群运行Saprk程序两种方式目录1)通过Maven(简单一些,建议用这种)2)下载Saprk环境1)通过Maven 备注:java是1.8版本,scala是2.11.6版本 maven中加入的依赖如下: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</
2016-10-31 09:12:39 3075
原创 深入理解Java的接口和抽象类
对于面向对象编程来说,抽象是它的一大特征之一。在Java中,可以通过两种形式来体现OOP的抽象:接口和抽象类。这两者有太多相似的地方,又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用,但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲:目录一.抽象类二.接口三.抽象类和接口的区别一.抽象类 在了解抽象类之前,先来了解一下抽象方法。抽象方
2016-10-21 16:04:09 689
原创 kafka:python获取kafka的值
需求:获取通过python查看kafka中的值#!/user/local/python2.6.6/bin/python# -*- coding: utf-8 -*-# __project__ = src# __author__ = kassien@163.com# __date__ = 2016-09-21 # __time__ = 12:49#kafka的节点kafka_list =
2016-10-19 16:58:41 8409
原创 设计模式:23种设计模式综述
设计模式(Design Patterns) ——可复用面向对象软件的基础 设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,
2016-10-17 22:12:39 2047
原创 设计模式:Command(命令)
Command定义 将来自客户端的请求传入一个对象,无需了解这个请求激活的 动作或有关接受这个请求的处理细节。 这是一种两台机器之间通讯联系性质的模式,类似传统过程语 言的 CallBack功能。优点: 解耦了发送者和接受者之间联系。 发送者调用一个操作,接受者接受请求执行相应的动作,因为使用Command模式解耦,发送者无需知道接受者任何接口。 不少
2016-10-17 16:09:59 2100 1
转载 “前首富”牟其中:欠的人情太多,要留着命来还
出狱后,牟其中换了身新衣服 “这里通向世界。” 这句话,刻在牟其中母亲墓碑上,是他亲笔写的墓志铭。 “因为母亲养育了我,无论走了多远,做了多大的事情,我的起点在这,根在这儿。”牟其中说,“这句话是我第一次坐牢的时候想到的。” 从1985年离开家乡,到2016年9月28日回乡,31年,牟其中从起点绕一个圈后又会回到起点。 不同的是,当年的四川
2016-10-13 22:31:23 624
原创 Scala:使用 for-yield 表达式打印乘法表
在《Programming in Scala》中作者说,“Scala 中的 for 表达式对于迭代就像一把瑞士军刀”。可见,for 表达式的使用在 Scala 中出于多么重要的位置。我们可以使用for 表达式来简洁地完成迭代枚举的功能。与 Java 等不同的是,Scala 中有个生成器(generator)的概念,它的语法是 1 to 10 或者 1 until 10 ,前者代表从 1 到 10 进
2016-10-10 15:14:24 855
原创 命令行:获取用户命令行参数Option
运行参数:代码package com.donews.data.hbaseuserimport java.time.LocalDateimport com.donews.data.util.Datesimport org.apache.commons.cli.{GnuParser, HelpFormatter, Options}object JdkLogTest{ def main(args:
2016-10-10 10:37:52 3426
原创 phoenix修改表名
需求:在phoenix中将表名TABLE1,改为表名TABLE2步鄹:1)phoenix建立表名TABLE1 2)Hbase中修改表名TABLE1为TABLE2 3)phoenix建立表名TABLE2(格式同TABLE1) 4)查询phoenix中TABLE2//phoenix中的操作DROP TABLE TABLE2;CREATE TABLE TABLE1 (ID VARCHAR NOT
2016-10-09 17:40:34 2966 1
Mysql教程所有数据.zip
2020-05-05
crawlerBank.py
2019-07-08
SpringBoot的mvc三层以及增删改查页面
2018-11-22
spring boot+mybatis整合
2018-11-12
Lucene实战(第2版).pdf
2018-08-28
SparkSql技术
2018-08-16
hadoop-Apache2.7.3+Spark2.0集群搭建
2018-08-16
stable-diffusion-webui启动报错
2024-05-13
微博对一条微博进行评论API
2023-05-17
调用JEECG微博发帖API异常
2023-05-17
mac版本idea中路径颜色设置
2020-03-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人