- 博客(7)
- 收藏
- 关注
RSS订阅原创 Kafka基础介绍和名词解释
kafka是一个高吞吐的分布式消息系统，底层使用消息队列机制。消息队列常用于系统之间解耦合、峰值压力缓冲、异步通信。kafka的消息队列保证自己不丢数据（kafka接收数据不经内存，直接通过“零拷贝”写入到文件），消费者不丢数据（至少一次，严格一次），kafka会记录消费者读取数据的“offset”位置。 kafka的结构 producer：消息生产者 consumer：消息消费者 b...
2019-04-26 13:41:01
563
原创 Idea 缓存、索引
今天写spark项目时，由于要本地链接hive，所以把hive和hdfs的配置拷贝到项目的资源目录中。然后测试代码一直报“找不到hdfs ha集群名称”的错误（代码在集群中测试过没有问题），刚开始一直以为是本地链接不到hdfs，照着这个思路调试了半个小时仍没有解决。后来想到一个老程序员说过的程序员三大法宝“重启、关机、重装系统”，将idea关闭重新打开再次运行运行，这次居然成功了。 后来反...
2019-04-25 21:57:25
215
转载 hadoop yarn资源调度
yarn概述 YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X 版本中重...
2019-04-25 21:21:06
321
原创 scala简介和基础使用（一）
Scala简介 scala是一门面向对象和面向函数，基于“jvm”的一门语言，scala和java在很大一部分上很想，由spark源码中大量使用 scala官网介绍的6个特征 java和scala可以混编：都是编译后由jvm运行，scala中可以使用java的所有类包 类型推测（自动推测类型）：scala中声明类型使用“val（静态）”和“var（动态）”来声明，而后由scala自动推测变量的类型...
2019-04-15 19:42:31
177
原创 python基础使用（集合类型）
集合类型 1.字符串：python中字符串就是字符数组，支持下标索引访问。如果想取出部分字符，可以通过下标的方法取得（python中下标从0开始）。 字符串支持切片（切片是指对操作的对象截取其中一部分的操作。字符串、列表、元组都支持切片操作）操作。操作语法如下： 变量名[起始:结束:步长] 步长：表示下标变化的规律。即取出当前下标位置的值后跳过几个下标。可以使用负数，负数代表从后向前移动...
2019-04-12 15:46:50
162
原创 python基础使用篇（变量类型、运算符、条件判断和循环结构）
1.变量类型 为了更充分的利用内存空间以及更有效率的管理内存，变量是有不同的类型 object：python中所有类型的顶级对象 numeric：数值类型数据 sequence：类集合型类型（string为字符数组） mapping：kv键值对类型 internal：内部类型 数值类型、string类型和其他基本类型的基本介绍： 整形：python中可以处理任意大小的整数，包括负整数。在程序中的...
2019-04-11 21:06:09
203
原创 Impala性能优化
Impala由于可以兼容部分hive sql语句，所以Impala的性能优化与hive的相差不多 1.sql语句优化：可以通过"explain sql"或“profile”命令来查看sql语句的执行顺序和步骤 2.选择合适的文件格式进行存储：文件格式的转换会缩小数据的大小，以减少磁盘IO和网络传送的IO。Impala对不同的数据格式有不同的支持。具体看下图 3.避免产生过多的小文件（如果有其他程...
2019-04-10 19:23:44
630
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人