东城庞太师

原创 已解决！idea 启动spark类时，出错！ JsonMappingException：Incompatible Jackson version: 2.9.8

问题描述：启动spark类报错如下：Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.8原因：spark 依赖的版本过高 ，不兼容！解决：修改jackson-databind的版本，我的改为2.6.6...

原创 已解决！idea 启动报错：javax.servlet.ServletRegistration

解决：更改pom.xml文件，将 <scope>provided</scope> 改为<scope>compile</scope>问题解决！

原创 解决：idea运行scala程序，报错：Error:scalac: bad option: -make:transitive

问题描述：idea运行scala程序，报错：Error:scalac: bad option: '-make:transitive'\解决办法：1.进到项目的根目录下面、2.进入.idea文件夹,并打开Scala_compiler.xml文件3.将此行<parameter value="-make:transitive" />注释掉4.重启idea...

原创 解决spark on yarn no suitable driver found for jdbc://localhost:3306/.........

问题描述：spark任务提交yarn集群时，报错：找不到数据库的的驱动！原因：官网有解释！解决:提交spark时，提交命令中添加jar包。

原创 canal监控mysql数据库数据变化的巨坑！！

原理：canal监控mysql的数据库数据变化是根据数据库的binlog来监控的。问题描述:使用canal监控mysql数据库数据变化时，总是监控不到。解决：一路排查问题，确认不是其它问题后，去确认vim /etc/my.cnf 这个文件。添加上面三行，再次重启mysql。删除meta.data，重启canal，问题解决。meta.data文件，此文件记录了canal读取的日志文件的信息，测试，问题解决！查看监控的信息目录下 ：/export/servers...

原创 SQL语句优化之like 的优化+性能优化

常量开头的like , 会利用index ，没问题SQL> select * from test_like where object_name like AS%';开头和结尾都是%,对不起，很难优化SQL> select * from test_like where object_name like '%%';以常量结束，直接写的时候是不能应用index的SQL> select * from test_like where object_name like '.

转载 Elasticsearch创建索引

您可以通过 Elasticsearch 的 RESTFul API 来创建索引：PUT http://127.0.0.1:9200/commodity注意：默认情况下，创建的索引分片数量是 5 个，副本数量是 1 个。您可以通过如下参数来指定分片数、副本数量：{ "settings": { "number_of_shards": 3, "number_of_replicas": 2 }}1.1 实战演示通过 CURL 命令来上手操作一下，我们尝试创建一个商品

原创 Spark RDD的五大属性+宽窄依赖+执行过程+常见算子

sparkMllib的五大属性

转载 hive面试题

1、Hive函数介绍以及内置函数查看内容较多，见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1）查看系统自带的函数hive> show functions;2）显示自带的函数的用法hive> desc function upper;3）详细显示自带的函数的用法hive> desc function extend...

原创 数据库语句优化+数据库优化