自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 从零搭建Docker&k8s环境及使用+理解

虽然对于网络来说是炒冷饭,但是我是第一次弄,毕竟网上总是找不到你想要的答案。╮(╯▽╰)╭ 第一步 安装Linux CentOS 7,我是按这个帖子按的,很详细。 只是帖子里按的是8我按的是7。 ...

2020-03-16 13:42:13 105 6

原创 (java语言版) spark+hive+hbase 离线大数据分析统计及运行效率实验

1.初始化1000万条数据。作为数据集。我采用的方式是,先在hive中创建hbase表. 之后将数据写入到hbase里.hive创建与hbase的表关联参考我的这篇帖子https://blog.csdn.net/lwb314/article/details/803469932.只有进行查询,首先....

2020-03-10 09:29:29 19 0

原创 Python & Spark学习笔记系列 【第三章】例子:Python+Spark+Hbase

这里我的原始数据在Hbase里,以下会介绍两种方式可以通过Spark达到操作Hbase的效果。 第一种:Spark直连HBase 代码如下,但是这里我遇到了一个问题,就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable,我使用...

2019-03-04 10:00:55 382 3

原创 Python & Spark学习笔记系列 【第二章】例子:单词统计+文件存储

一般Spark上来好像都是单词统计,这里我也写一个,之后再带上点其他的函数,Spark和Python语法是真的难理解,这里我把我的理解都写在程序代码注解上了,直接上代码 from pyspark import SparkContext, SparkConf import os # 没有这句会...

2019-02-22 10:14:06 170 0

原创 Python & Spark学习笔记系列 【第一章】环境搭建 pyspark安装

Python语言怎么安装这里就不写了,网上有好多,IDEA安装是我按的Python插件如下图: 安装Python语言环境和插件以后,还要安装pyspark类库,因为默认Python是不带这些类库的。 这里安装遇到一个小坑,简单说下。 如果网络没问题的话可以直接cmd进入命令行, 时候输...

2019-02-14 11:22:47 675 0

原创 Python & Spark学习笔记系列---目录

作为一个Java程序员,到目前为基本不具备Python与Spark的经验。 接下来会按学习步骤写下所有Python与Spark学习中遇到的坑。 为什么选Python而不是Scala和Java,这里的原因是,Java的SparkAPI写法特别繁琐不好理解,Scala本身也没有经验。 但是大数据...

2019-02-14 10:44:03 137 0

原创 HDP2.4升级到HDP3.1遇到的各种坑

最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑,这里记录一下. 先列一下主要用到的技术与版本 老环境 HDP-2.4.0 HADOOP 2.7.1.2.4 HBase 1.1.2.2.4 Storm 0.10.0.2.4 ZooKeeper 3.4.6.2.4 K...

2018-11-21 17:25:46 1188 0

原创 登山的感悟

周末公司组织团建,去爬山,爬山的时候想到一些问题,说出来看大家是怎么想的。 第一个是问题,一般信佛的人都知道不能给佛像拍照,至少我们这边基本都是这么说的,但是有佛的时候还没有相机啊,那么是谁总结的佛像不能拍照?我觉得佛经上应该没写过吧,没相机之前古代人一般都是用画像来记录影像,古时候佛像画像还是...

2018-09-10 12:49:18 3367 12

原创 Spark学习经验总结

我是用HDP按的Hadoop,Spark集群 1.我在服务器上跑的Spark程序,启动脚本如下 /usr/hdp/2.4.0.0-169/spark/bin/spark-submit --class com.lwb.streamingtest.steaming_sql.Spark_Stream...

2018-08-13 17:22:12 458 0

原创 Hive操作HBase总结

首先在Hive中创建Hbase里标。键入>hive进入hive命令行,执行hive建表语句如下CREATE TABLE lwb_test1(key string,xm string,nl int) STORED BY 'org.apache.hadoop.hive.hba...

2018-05-17 10:42:49 5077 0

原创 eclipse 远程debug服务器上的代码

1.首先将java maven工程打成jar,然后放到服务器上。2.然后编辑启动命令 start.sh 内容如下。classpath=`find -name "*.jar"|xargs|sed "s/ /:/g"`classpath=".:$cla...

2018-05-16 16:21:52 353 1

原创 HBase数据迁移实现

方式很多,我使用的是Export与Import感觉还挺好用的,我使用的场景有几种,以下会分别说明:我的需求是将老集群数据迁移到新集群,但是有两种情况:1.两个集群网络能够联通;2.两个集群网络不能联通。先说能联通的情况及遇到的问题:root登陆集群1.执行以下命令,我的前提是我执行hbase sh...

2018-04-09 14:26:27 2343 1

原创 Kafka+SparkStreaming解析Json数据并插入Hbase,包含部分业务逻辑

以下代码是在学习Spark时候自己写的例子,还不成熟,仅供记录和参考下边直接上代码,我在我觉得有用的位置加了比较详细的注解import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java...

2018-03-01 09:38:01 6934 0

原创 SWGGER2的一些经验总结

最近项目要用到swagger,网上查了一下,现在一般都是用swagger2,我对他的理解是一个restful接口的说明及测试框架.然后从网上找了个例子,但是例子通常都是有问题的,后来查了下注解的说明如下. 注解说明: @Api:用在类上,说明该类的作用 @ApiOper...

2017-08-22 14:53:57 2505 0

转载 dubbo框架总结

CSDN太垃圾,发布不了博客,写到博客园去了,下边是地址,类型写成转载! http://www.cnblogs.com/lwb314/articles/5466150.html

2016-05-06 16:29:31 580 0

原创 eclipse打maven的jar包连依赖jar一起打包方法

方法就是使用maven插件,我这里试验了2种插件 方法1. 第一步:在pom.xml文件中添加,其中标红的部分,我在实际应用中是去掉的,因为我这个jar单纯是工具类,没有主函数,如果有的话,红色部分改成自己的启动类应该就行了 第二步:右键pom.xml--->run config里运行命...

2016-04-05 09:40:49 16483 6

原创 【水笔】多年前看到的一道算法题,留念

原帖地址 http://bbs.csdn.net/topics/390712018 问题 新的题目又来了,这次还是有关矩阵的。 一个二维数组,向这样。把它想象成一个方格一个方格,数字代表了方格的高度。然后往这些方格里倒水。 当那么高度最低的肯定就可以存住水,问一个m*n的矩阵...

2016-03-24 10:41:24 469 1

原创 Linux命令总结

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 我用它来查询服务器上的JAVA程序。 PS可以查看程...

2015-11-25 09:27:30 406 0

原创 多年前遇到的一道题,留个纪念

原帖地址http://bbs.csdn.net/topics/380191378 之前写的代码有BUG,就是第一个点必须是1.呵呵,修改了一下。 原题 连通判定, 图1为连通(从一个[1]可以到达任何一个[1]) 图2为不连通(至少存在2个[1],他们之间无法到达) 图1: 1 1 1 1 1 ...

2015-10-20 17:09:47 539 2

原创 Maven+Nexus私服搭建总结

这几天部门内部需要弄个私服,让我来做,在网上找了些资料,下边这个帖子是最好的,也是最新的,我就是按照她的这个来的,步骤我是完全按照她的这个来的,就好使了,以下只是我的一些总结。 http://blog.csdn.net/a973893384/article/details/46724227...

2015-08-14 09:22:58 862 0

原创 checkStyle6.8 问题总结

首先checkStyle 安装完以后,有几个默认模板,而且我发现不能改。

2015-08-11 15:42:40 420 0

原创 java编码规范总结之 checkStyle6.8安装总结

先说下我的环境,eclipse luna版32位。 checkStyle6.8 官网下的最新的。下载地址自己百度checkStyle就可以了。 我下的名字叫 net.sf.eclipsecs-updatesite_6.8.0.201507251301-bin.zip 1.注解规范。 首先是注...

2015-08-05 13:24:00 484 0

原创 Storm、Kafka、Hbase 整合 java 例子

我的需求是从kafka里取数据数据,然后对数据进行加工,最后保存到HBase里。 1.拓扑 这里我的spout用的是storm-kafka-0.93.jar里的KafkaSpout类来作为输入源,我自己写的后边贴出来,不过我自己写的有问题,会把Topology跑死 packa...

2015-07-30 09:45:44 4934 1

原创 Storm里的jave类加载问题

其实我也不懂。 但是我昨天发现了一个问题,由此展开了实现,具体结果如下。 试验1:一个工程里边2个主函数,分别启动成2个服务 我的storm服务器,我每次把打包好的程序放上,发布了以后都要等一会才能运行。大概1分钟左右。 我这里的做法是 一个工程,其中有2个类都是主函数,A.java与B...

2015-07-24 14:27:15 640 0

原创 Storm经验总结

1. Storm启动命令 我启动Strom命令以后就卡在那了,Ctrl+C或者关闭SSH都会导致服务关闭。 正确的启动命令是 storm ui & 然后敲 exit 退出以后,再关闭SSH服务就不会关闭了。 2.Storm发布命令 我将我本地运行正常的StromTopology工程...

2015-07-24 13:59:32 456 0

原创 HBase1.0.x JAVA 实例

HBase1.0.x 最少jar包依赖 图片里的jar包是我根据下边的程序一个一个找的, 一直想找个最小的jar包依赖,一整就用maven把所有包都下下来了,好几百M,有点太大了,而我部署项目的机器上又没有hbase所以我想找个最小的jar包依赖。 之后是个代码例子,网上搜到的大...

2015-07-23 13:53:03 1451 0

原创 Netty与java Socket通信不太好使

之前我使用的是netty-all-4.0.15.Final-sources.jar 因为之前从网上下载了一个推送的例子,跑起来可以成功。但是我想不能所有的客户端都去用你netty的Bootstrap来接入吧。 纯socket怎么办。 所以我想看看纯的java socket能不能接入,结果...

2015-07-17 10:45:37 4628 1

原创 java链接Hive与Impala经验总结

首先我是使用cloudera-manager安装的CDH5.4.1 之后我运行了hive ,hbase shell,impala-shell都是好用的。 接下来我试试用JAVA去访问hive ,impala服务 首先是java链接impala 但是要注意的是,你工程里要有hive的...

2015-07-03 10:54:34 8555 6

原创 我的Hadoop、Hbase、Hive、Impala总结

1.怎么查找hadoop_home 看Hive安装的时候需要配置hadoop_home 因为不太懂,查找了一下/etc/profile文件发现没有, 又搜索了一下发现叫hadoop的目录到处都是,不知道哪个是,最后同事说,有bin的目录就是hadoop_home,那么多文件夹一个一个找费劲,而且如...

2015-06-24 17:20:37 4442 0

原创 Java for Flash 网页游戏开发笔记

 IDE:JDK1.6,MyEclispe5.5,Tomcat6.0,Flash 8,Flash Remoting MX.    原理:Flash Remoting MX,是一个服务,可以发送HttpRequest,使Flash与JAVA通信成为可能,原理类似于AJAX,只不过AJAX是通过创建浏...

2009-07-20 12:22:00 1701 1

提示
确定要删除当前文章?
取消 删除