排序:
默认
按更新时间
按访问量

kafka和spark集成启动报错java.lang.NoClassDefFoundError:org/apache/zookeeper/Watcher

解决方法:进入kafka安装目录下,将其lib目录下的zookeeper jar包拷贝到spark安装目录下的lib目录下 jar包位置如下图:

2017-10-25 18:02:31

阅读数:2177

评论数:0

移除ArrayBuffer中第一个负数后的所有负数

import scala.collection.mutable.ArrayBuffer object test4 { def main(args: Array[String]) { //需求:移除下列可变数组中的第一个负数之后的所有负数 val a =ArrayBuffer[...

2017-10-12 21:49:12

阅读数:158

评论数:0

Scala算法

为了练习scala,特地从网上找来Java经典问题算法大全,用scala来实现,记录于此。 /*【程序1】 题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少? 1.程序分析: 兔子的规律为数列1...

2017-10-12 19:52:36

阅读数:936

评论数:1

scala 求100-200质数 ,杨辉三角

1. 100-200 质数import scala.math object test1 { def main(args: Array[String]):Unit={ def isPrime(p:Int):Boolean={ for (i <- 2 to math....

2017-10-12 19:50:34

阅读数:748

评论数:0

01_Scala基础语法

object demo01 { def main(args: Array[String]) { // print("Hello World!!!") // val x1:Int=112313 可以自动推断类型 // val x=10// lazy...

2017-10-11 18:26:44

阅读数:99

评论数:0

Pycharm 添加脚本的头信息模板

2017-09-29 16:25:41

阅读数:1046

评论数:0

阿里云Maven仓库地址

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror mirror> id>nexus-aliyunid> mirrorOf>*mirrorOf> name>...

2017-09-27 21:26:00

阅读数:119

评论数:0

Flume讲解

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...

2017-09-26 21:11:23

阅读数:133

评论数:0

正则表达式基本用法

正则表达式:符合一定规则的表达式,用特定符号来表达一些代码。     特点:用于一些特定的符号来表示一些代码操作,这样可以简化书写     作用:专门用于操作字符串。     优点:可以简化对字符串的复杂操作。     缺点:符号定义越多,正则表达式越长,阅读性越差 ...

2017-09-24 18:12:07

阅读数:411

评论数:0

Hive中join的三种方式

hive在实际的应用过程中,大部份分情况都会涉及到不同的表格的连接,例如在进行两个table的join的时候,利用MR的思想会消耗大量的内存,良妃磁盘的IO,大幅度的影响性能,因为shuffle真的好令人担心啊,总之,就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式 ...

2017-09-24 15:12:15

阅读数:916

评论数:0

hive数据倾斜调优

HIVE 数据倾斜调优总结 在做Shuffle阶段的优化过程中,遇 到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些 Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异...

2017-09-24 14:54:26

阅读数:159

评论数:0

HDFS数据安全性如何保证

HDFS数据安全性如何保证 1)、存储在HDFS系统上的文件,会分割成128M大小的block存储在不同的节点上,block的副本数默认3份,也可配置成更多份; 2)、第一个副本一般放置在与client(客户端)所在的同一节点上(若客户端无datanode,则随机放),第二个副本放置到...

2017-09-23 15:05:42

阅读数:1523

评论数:0

hadoop2.x与Hadoop1.x区别

hadoop2.x与Hadoop1.x区别: (1)2.x比1.x从性能上有很大增强 (2)Hadoop1中的JobTracker是一个功能集中的部分,负责资源的分配和任务的分配,所以JobTracker单点出问题就会造成整个集群无法使用了,而且MapReduce模式是集成在Hado...

2017-09-23 15:04:43

阅读数:545

评论数:0

hadoop案例分析(三)

随笔 - 270  文章 - 1  评论 - 1341 Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析 网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数...

2017-09-19 23:35:22

阅读数:578

评论数:0

hadoop案例分析(二)

Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗 网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:当前页面 网站日志分析项目案例(三)统计分析:ht...

2017-09-19 23:33:48

阅读数:240

评论数:0

hadoop网站日志分析(一)

Hadoop学习笔记—20.网站日志分析项目案例(一)项目介绍 网站日志分析项目案例(一)项目介绍:当前页面 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例(三)统计分析:http://w...

2017-09-19 17:54:41

阅读数:1481

评论数:0

mysql执行引擎

MyISAM: 优势 – 查询速度快 – 数据和索引压缩问题 – 表级锁 – 数据丢失 InnoDB: 优势 – 行级锁 – 事务支持 – 数据安全问题 – 数据文件庞大 – 启动慢 – 不支持FULLTEXT索引   如果你是个赛车手并且按一下按钮就能够立即更换引擎而不需要把车开...

2017-09-19 14:23:32

阅读数:335

评论数:0

hbase读写流程

---------------------------------------- hbase表数据的检索流程图(读和写的流程)            1、hbase在Hadoop集群中的物理架构         master通常是Hadoop集群中的一台或两台(backup-Mast...

2017-09-19 12:12:10

阅读数:246

评论数:0

hbase与sqoop集成

HBase与 Sqoop整合 将mysql中的数据导入到HBase ## 在mysql中创建一张表 create database demo; use demo; //导入全部数据到MySQL 在mysql命令行 source /home/bigdata/so_...

2017-09-19 00:43:33

阅读数:528

评论数:0

hbase与hive集成

hbase与hive集成      官方部署使用参考资料:     官方文档步骤在hive的官网上: 1、拷贝jar包或创建jar包的软连接     hive作为一个客户端访问hbase需要hbase相同jar包的依赖支持     创建软连接,hive作为hbase的客户端需...

2017-09-19 00:41:45

阅读数:269

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭