2017年02月_执于代码

07月 06月 03月 02月

转载如何保证kafka 的消息机制

1.kafka 知识总结1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是defaultPartition Utils.abs(key.ha...

2017-02-26 22:04:43 17869

原创 2017 面试总结&&58 面试

58 面试到时没有什么被Spark的demo 给搞晕了。附录Spark 在线和实时的统计。

2017-02-21 20:52:30 533

原创中国电信云计算研发中心的面试

今天去CTTC的面试了，主要问了3个问题：1.自我简介2.什么是spark，做过那些spark 操作我回答的是自己一些spark操作？3.什么是SpringMVC？什么是MVC？什么是angluarJS?4.最擅长什么？Java5.做过项目？html ,6.什么是图？...

2017-02-20 21:32:41 658

原创 spark 入门

1.spark 官网2.更快地的速度易用性3.Spark 提供了更多的高级运算符号4.支持多个资源管理调度Spark Streaming：构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。一方面是因为Spark的低延迟执行引擎（100ms+），虽...

2017-02-19 22:00:28 335

原创十大经典数据挖掘算法

总体比较多：1.C4.5 算法 http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html

2017-02-19 17:51:52 612

原创阿里巴巴日志处理系统

SLS是阿里云自主研发的针对日志数据的实时、大规模集中式管理服务平台，可满足各种类型的日志处理分析需求，减轻广大开发者的负担。日志是大规模集群管理系统中非常关键的部分，服务器上的各种日志数据（如访问日志、应用日志等）可以帮助我们回答各种问题，例如：然而要想从日志中获取这些信息，通常需要开发大量脚本和工具，从头到底搭建端对端系统，并且为了保证服务可靠性和稳定性，要做大量维护开发工作。阿里云自...

2017-02-19 17:36:35 1754

原创 Impala 学习

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。2.Impala的架构分析https://san...

2017-02-17 20:32:07 414

原创 Apache Mesos 学习

Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。mesos 优缺点：mesos优点：1.资源管理策略Dominant Resource Fairness(DRF), 这是Mesos的核心，也是我们把Mesos比作分...

2017-02-16 14:38:36 1139

原创 hadoop 安装问题总结

一次安装异常：hostname xxx ：可以直接修改主机名称，不行的话，出现E67Error

2017-02-12 14:04:06 297

原创 hadoop 集群安装详细步骤

常见的集群安装列表总结如下：常见的安装步骤;全面下载：hadoop安装步骤Excel该Excel 记录了一般的主从集群的详细安装步骤，供参考。...

2017-02-11 16:58:35 307

原创 hadoop 安装常见的异常

1.java.io.IOException: Incompatible clusterIDs in /soft/hadoopdata/hdfs/datanode: namenode clusterID = CID-5bf29c46-50cb-45ce-b452-fd26e8d765e1; datanode clusterID = CID-54aae590-de23-4a4e-95b2-e75c

2017-02-10 21:49:46 506

原创阿里巴巴 (ALIBABA)一次面试

1.面试官基本问了我3个问题：基本覆盖为Java 基础，算法&数据结构，JavaEE方面，项目三个方面1.Java 基础arrayList的内部实现http://baike.baidu.com/link?url=ir4kKN292_jGlgHGRxWOoudKcj8CLDwMKQNjSPRWHOVC4Lgl17bLHeuacoxUy6tFrKmNtBxYRr8...

2017-02-10 14:15:54 251