Python & Spark学习笔记系列 【第三章】例子:Python+Spark+Hbase

这里我的原始数据在Hbase里,以下会介绍两种方式可以通过Spark达到操作Hbase的效果。 第一种:Spark直连HBase 代码如下,但是这里我遇到了一个问题,就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable,我使用...

2019-03-04 10:00:55

阅读数 50

评论数 0

Python & Spark学习笔记系列 【第二章】例子:单词统计+文件存储

一般Spark上来好像都是单词统计,这里我也写一个,之后再带上点其他的函数,Spark和Python语法是真的难理解,这里我把我的理解都写在程序代码注解上了,直接上代码 from pyspark import SparkContext, SparkConf import os # 没有这句会...

2019-02-22 10:14:06

阅读数 56

评论数 0

Python & Spark学习笔记系列 【第一章】环境搭建 pyspark安装

Python语言怎么安装这里就不写了,网上有好多,IDEA安装是我按的Python插件如下图: 安装Python语言环境和插件以后,还要安装pyspark类库,因为默认Python是不带这些类库的。 这里安装遇到一个小坑,简单说下。 如果网络没问题的话可以直接cmd进入命令行, 时候输...

2019-02-14 11:22:47

阅读数 117

评论数 0

Python & Spark学习笔记系列---目录

作为一个Java程序员,到目前为基本不具备Python与Spark的经验。 接下来会按学习步骤写下所有Python与Spark学习中遇到的坑。 为什么选Python而不是Scala和Java,这里的原因是,Java的SparkAPI写法特别繁琐不好理解,Scala本身也没有经验。 但是大数据...

2019-02-14 10:44:03

阅读数 53

评论数 0

HDP2.4升级到HDP3.1遇到的各种坑

最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑,这里记录一下. 先列一下主要用到的技术与版本 老环境 HDP-2.4.0 HADOOP 2.7.1.2.4 HBase 1.1.2.2.4 Storm 0.10.0.2.4 ZooKeeper 3.4.6.2.4 K...

2018-11-21 17:25:46

阅读数 401

评论数 0

登山的感悟

周末公司组织团建,去爬山,爬山的时候想到一些问题,说出来看大家是怎么想的。 第一个是问题,一般信佛的人都知道不能给佛像拍照,至少我们这边基本都是这么说的,但是有佛的时候还没有相机啊,那么是谁总结的佛像不能拍照?我觉得佛经上应该没写过吧,没相机之前古代人一般都是用画像来记录影像,古时候佛像画像还是...

2018-09-10 12:49:18

阅读数 1914

评论数 10

Spark学习经验总结

我是用HDP按的Hadoop,Spark集群 1.我在服务器上跑的Spark程序,启动脚本如下 /usr/hdp/2.4.0.0-169/spark/bin/spark-submit --class com.lwb.streamingtest.steaming_sql.Spark_Stream...

2018-08-13 17:22:12

阅读数 239

评论数 0

Hive操作HBase总结

首先在Hive中创建Hbase里标。键入>hive进入hive命令行,执行hive建表语句如下CREATE TABLE lwb_test1(key string,xm string,nl int) STORED BY 'org.apache.hadoop.hive.hbas...

2018-05-17 10:42:49

阅读数 3154

评论数 0

eclipse 远程debug服务器上的代码

1.首先将java maven工程打成jar,然后放到服务器上。2.然后编辑启动命令 start.sh 内容如下。classpath=`find -name "*.jar"|xargs|sed "s/ /:/g"`classp...

2018-05-16 16:21:52

阅读数 209

评论数 1

HBase数据迁移实现

方式很多,我使用的是Export与Import感觉还挺好用的,我使用的场景有几种,以下会分别说明:我的需求是将老集群数据迁移到新集群,但是有两种情况:1.两个集群网络能够联通;2.两个集群网络不能联通。先说能联通的情况及遇到的问题:root登陆集群1.执行以下命令,我的前提是我执行hbase sh...

2018-04-09 14:26:27

阅读数 1508

评论数 0

Kafka+SparkStreaming解析Json数据并插入Hbase,包含部分业务逻辑

以下代码是在学习Spark时候自己写的例子,还不成熟,仅供记录和参考下边直接上代码,我在我觉得有用的位置加了比较详细的注解import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java...

2018-03-01 09:38:01

阅读数 5131

评论数 0

SWGGER2的一些经验总结

最近项目要用到swagger,网上查了一下,现在一般都是用swagger2,我对他的理解是一个restful接口的说明及测试框架.然后从网上找了个例子,但是例子通常都是有问题的,后来查了下注解的说明如下. 注解说明: @Api:用在类上,说明该类的作用 @ApiOper...

2017-08-22 14:53:57

阅读数 1919

评论数 0

dubbo框架总结

CSDN太垃圾,发布不了博客,写到博客园去了,下边是地址,类型写成转载! http://www.cnblogs.com/lwb314/articles/5466150.html

2016-05-06 16:29:31

阅读数 551

评论数 0

eclipse打maven的jar包连依赖jar一起打包方法

方法就是使用maven插件,我这里试验了2种插件 方法1. 第一步:在pom.xml文件中添加,其中标红的部分,我在实际应用中是去掉的,因为我这个jar单纯是工具类,没有主函数,如果有的话,红色部分改成自己的启动类应该就行了 第二步:右键pom.xml--->run config里运行命...

2016-04-05 09:40:49

阅读数 15439

评论数 5

【水笔】多年前看到的一道算法题,留念

原帖地址 http://bbs.csdn.net/topics/390712018 问题 新的题目又来了,这次还是有关矩阵的。 一个二维数组,向这样。把它想象成一个方格一个方格,数字代表了方格的高度。然后往这些方格里倒水。 当那么高度最低的肯定就可以存住水,问一个m*n的矩阵...

2016-03-24 10:41:24

阅读数 435

评论数 1

Linux命令总结

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 我用它来查询服务器上的JAVA程序。 PS可以查看程...

2015-11-25 09:27:30

阅读数 373

评论数 0

多年前遇到的一道题,留个纪念

原帖地址http://bbs.csdn.net/topics/380191378 之前写的代码有BUG,就是第一个点必须是1.呵呵,修改了一下。 原题 连通判定, 图1为连通(从一个[1]可以到达任何一个[1]) 图2为不连通(至少存在2个[1],他们之间无法到达) 图1: 1 1 1 1 1 ...

2015-10-20 17:09:47

阅读数 510

评论数 2

Maven+Nexus私服搭建总结

这几天部门内部需要弄个私服,让我来做,在网上找了些资料,下边这个帖子是最好的,也是最新的,我就是按照她的这个来的,步骤我是完全按照她的这个来的,就好使了,以下只是我的一些总结。 http://blog.csdn.net/a973893384/article/details/46724227...

2015-08-14 09:22:58

阅读数 822

评论数 0

checkStyle6.8 问题总结

首先checkStyle 安装完以后,有几个默认模板,而且我发现不能改。

2015-08-11 15:42:40

阅读数 384

评论数 0

java编码规范总结之 checkStyle6.8安装总结

先说下我的环境,eclipse luna版32位。 checkStyle6.8 官网下的最新的。下载地址自己百度checkStyle就可以了。 我下的名字叫 net.sf.eclipsecs-updatesite_6.8.0.201507251301-bin.zip 1.注解规范。 首先是注...

2015-08-05 13:24:00

阅读数 456

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭