- 博客(7)
- 收藏
- 关注
RSS订阅转载 sparksql性能调优
sparksql性能调优性能优化参数 在spark中，Spark SQL性能调优只要是通过下面的一些选项进行优化的：1 spark.sql.codegen 默认值为false，当它设置为true时，Spark SQL会把每条查询的语句在运行时编译为java的二进制代码。这有什么作用呢？它可以提高大型查询的性能，但是如果进行小规模的查询的时候反而会变慢
2017-11-20 10:22:08
3158
原创 深挖spark2.0
大数据通常自上而下分为大数据产品、数据治理/作业生命周期、作业管理/作业流、分布式计算、分布式存储、分布式调度、硬件/机房七层。本次演讲的重点在于分布式计算层。在以时间、数据量的坐标抽上列出目前引擎大致擅长处理数据的坐标，应该还需要加上数据复杂度、成本等维度，才能更好的体现侧重点，这里不列出。没有哪个软件能解决所有的问题，能解决问题也是在一个范围内，即使是spark、flink等。目前存在
2017-11-13 10:26:24
278
原创 HBase 和 Cassandra的使用对比
HBase vs Cassandra HBaseCassandra语言JavaJava出发点BigTableBigTable and DynamoLicenseApacheApacheProtocolHTTP/REST (also Thrift)Custom, binary
2017-11-13 10:06:07
1944
1
原创 Cassandra集群的搭建
1. 基础配置与安装1.1 基础环境node110.202.20.191 (seed1)node210.202.20.192node310.202.20.193node410.202.20.194node510.202.20.195node610.202.20.196node710.202.20.197node81
2017-11-10 17:29:03
522
转载 cassandra-cqlsh基本操作
Cassandra CQL操作基础CQL是Cassandra Query Language的缩写，目前作为Cassandra默认并且主要的交互接口。CQL和SQL比较类似，主要的区别是Cassandra不支持join或子查询。在执行操作之前，首先打开命令行进入Cassandra安装目录下的bin文件夹，执行cqlsh，如果不成功可能你的cassandra没有开启，要先在bin目录
2017-11-10 17:27:23
801
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人