转载:kafka

RabbitMQ和kafka从几个角度简单的对比业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比,在应用场景方面,RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上...

2018-05-18 15:26:49

阅读数:0

评论数:0

hbase

http://hbase.apache.org/book.html#quickstarthttps://www.jianshu.com/p/27c385800da8https://segmentfault.com/a/1190000011277511 好像更好一些

2018-05-18 14:08:52

阅读数:2

评论数:0

java 过滤器 拦截器 监听器

过滤器(Filter):当你有一堆东西的时候,你只希望选择符合你要求的某一些东西。定义这些要求的工具,就是过滤器。Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断等。其工作原理是,只要你在web.x...

2018-05-18 10:20:00

阅读数:1

评论数:0

spark广播的好处的实例

2018-05-17 18:06:13

阅读数:2

评论数:0

yarn的特征

与mapReduce1相比,yarn可以在更大规模的集群上运行,当节点达到4000,任务数达到40000时,mapDeduce1会遇到可扩展瓶颈,瓶颈在于jobtracker必须同时管理作业和任务这样一个事实,yarn利用其资源管理器和application master分类的架构优点客服了这个局...

2018-05-17 15:06:03

阅读数:2

评论数:0

hdfs文件创建查看

看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files  -blocks -locations -racks -files  文件分块信息,-blocks    在带-files参数后才显示block信息-locat...

2018-05-17 13:34:31

阅读数:11

评论数:0

集群维护

例行停止机器1. 例行卸载HDFS Datanode,可以先添加配置dfs.hosts.exclude, 然后主动更新节点。vim $HADOOP_HOME/conf/excludes hadoop dfsadmin -refreshNodes2. 例行卸载HBase的Region Server,...

2018-05-17 09:35:34

阅读数:3

评论数:0

scala 拉链操作

val prices = List(5.0,20.0,9.95) val quantities = List(10,2,1) zip方法让你将他们组合成一个对偶的列表例如 prices zip quanties 将得好一个List[(Double,Int)] = List{(5.0,10),(20...

2018-05-16 18:31:32

阅读数:6

评论数:0

mysql 性能优化

(1)定位执行效率较低的sql语句 ,用 --log-show-queries[=file_name]选项启动时,mysqld写一个包含所有执行时间超过 log_query_time秒的sql语句的日志文件。 (2)%问题。string 匹配少用。

2018-05-16 18:30:53

阅读数:11

评论数:0

java 工厂模式

简单(静态)工厂:一个栗子: 我喜欢吃面条,抽象一个面条基类,(接口也可以),这是产品的抽象类。public abstract class INoodles { /** * 描述每种面条啥样的 */ public abstract void desc(); }1...

2018-05-16 18:30:17

阅读数:47

评论数:0

几个面试题

package com.test;public class Test {    public static void main(String[] args)  {        new Circle();    }} class Draw {         public Draw(String ...

2018-05-16 17:46:21

阅读数:11

评论数:0

转载:动态代理实现

1,基于接口的动态代理必须首先要定义接口:代码如下:1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556package com.tong.qiu...

2018-05-16 16:38:43

阅读数:8

评论数:0

转载:volatile 的解释,很清楚

http://www.importnew.com/24082.html

2018-05-16 16:20:12

阅读数:4

评论数:0

转载:数据限流问题

https://www.cnblogs.com/haoxinyue/p/6792309.html

2018-05-16 15:45:31

阅读数:5

评论数:0

转载:HBase

HBase实际上是按照谷歌的bigtable实现的,而谷歌在bigtable论文的开篇就介绍了bigtable的特点:A Bigtable is a sparse, distributed, persistent multidimensional sorted map。所以HBase在本质上,是一...

2018-05-16 10:58:47

阅读数:5

评论数:0

转载:HBase核心知识点总结

一、HBase介绍1、基本概念HBase是一种Hadoop数据库,经常被描述为一种稀疏的,分布式的,持久化的,多维有序映射,它基于行键、列键和时间戳建立索引,是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类,允许动态的、灵活的数据模型,不用SQL语言,也不强调数据之间的关...

2018-05-16 09:53:33

阅读数:133

评论数:0

转载:Hadoop、Hbase基本命令及调优方式

https://www.cnblogs.com/10158wsj/p/8428321.htmlHadoop、Hbase基本命令及调优方式HDFS基本命令接触大数据挺长时间了,项目刚刚上完线,趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式,当做是一个学习笔记吧。HDFS...

2018-05-16 09:00:32

阅读数:68

评论数:0

spark重点:join操作之昂贵,先reduceByKey

总之,join通常是你在使用Spark时最昂贵的操作,需要在join之前应尽可能的先缩小你的数据。假设,你有一个RDD存着(熊猫id,分数),另外一个RDD存着(熊猫id,邮箱地址)。若你想给每只可爱的熊猫的邮箱发送她所得的最高的分数,你可以将RDD根据id进行join,然后计算最高的分数,如下:...

2018-05-15 17:57:15

阅读数:6

评论数:0

spark的join操作

https://www.cnblogs.com/kangoroo/p/7778962.html

2018-05-15 17:51:16

阅读数:8

评论数:0

spark 基站时长统计

综合练习:通过基站信息计算家庭地址和工作地址需求:根据手机信号来计算其所在的位置手机一开机,就会和附近的基站建立连接,建立连接和断开连接都会被记录到服务器上的日志,所以即使没手机有开启网络或者GPS,也可以定位手机所在的位置。基站都有一定的辐射范围,并且根据信号强度有不同的信号级别,比如2G、3G...

2018-05-15 17:41:00

阅读数:5

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭