- 博客(6)
- 收藏
- 关注
RSS订阅原创 启动hive时报错：javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
通过hive --service metastore & 命令启动hive时报错：hive下hive -site.xml配置错误，重新配置了下好了（我的hive是整合了hue的）下面是我的配置信息hive.server2.thrift.port10000hive.server2.thrift.bind.hostmini1hive.server2.long.p...
2019-01-12 11:27:35
9371
1
原创 Tomcat错误之Whitelabel Erro Page
原因是pom文件中导入的web的版本过老，需要在@SpringBootApplication后面加入scan扫描@SpringBootApplication(scanBasePackages = {“com.qfeng.controller”})com.qfeng.controller为项目的路径...
2018-12-27 22:17:36
1702
原创 用java 操作 hbase ，zookeeper总是读取localhost 不读取配置的hbase.zookeeper.quorum
今天用Java操作HBASE时一直连接不上HBASE，发现连接的是localhost:21812018-12-15 15:29:03,643 INFO org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.() - Process identifier=hconnection-0x18bf3d14 connecting to ZooKee...
2018-12-15 15:38:31
3303
5
原创 Spark 任务提交的底层原理图
自己总结了一下，花了一张图1.通过Spark-submit脚本提交代码到集群上运行。2.Driver进程。当我们开始初始化代码第一行的SparkContext上下文的时候，会创建两个对象——DAG Scheduler、Task Scheduler3.DAG Scheduler会通过stage划分算法进行stage的划分，然后通过创建TaskSet将所有的Task提交到Task Sched...
2018-11-28 21:11:06
528
原创 HUE 简单入门
一、HUE简介HUE=HadoopUser Experience，就是Hadoop用户体验，是一个开源的Apache HadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数...
2018-11-28 20:18:15
984
原创 Spark Streaming 底层原理图以及性能
一、底层原理图二、优化方案2.1 使用Direct直连方式Spark1.3中引入了Direct方法，这种方法不是使用接收器来接收数据，而是定期向Kafka查询每个topic和partition中的最新偏移量，并相应地定义要在每个批次中处理的偏移量范围。当启动处理数据的作业时，Kafka的简单消费者API用于读取Kafka定义的偏移范围（类似于从文件系统读取的文件）。该方法是直接将RDD中...
2018-11-22 22:01:31
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人