- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据_hive和sparksql的对比
spark sql可以使用hive里面的表，并做操作，并且会很快但是需要做如下配置1.hive-site.xml hive的元数据配置文件要拷贝到spark的conf路径下2.spark的启动要加上--jars mysql连接jar包的路径 如果还是出现错误：Exception in thread "main" java.sql.SQLException: No sui...
2018-08-28 15:12:36
4666
原创 大数据_实时数据处理（Flume+Kafka+Sparkstreaming）
版本：kafka的版本:kafka_2.11-0.11.0.0spark的版本：spark-2.3.1-bin-hadoop2.6flume的本班：apache-flume-1.7.0-bin实现目的： 采集实时生成的日志数据，通过flume将数据传递给kafka 做缓冲，由spark streaming做数据处理入库具体代码的实现：可以通过Java测试代码生成日志flume...
2018-08-02 22:35:34
2485
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人