- 博客(15)
- 收藏
- 关注
RSS订阅原创 python dict byte转str
class JsonCover(): @staticmethod def cover_bytes(value): if isinstance(value, bytes): return bytes.decode(value) elif isinstance(value, str): return val...
2019-10-15 16:03:27
721
转载 Spark性能调优篇一之任务提交参数调整
本文转载：https://www.jianshu.com/p/d07e79c22d90写在前面的一些”废话“：最近在做spark的项目，虽然项目基本功能都实现了，但是在真正的成产环境中去运行，发现程序运行效率异常缓慢；迫于无奈（实际是自己都不忍直视了），所以决定对程序做一番优化操作。在网上查看了不上关于spark程序的优化方法，但是都比较分散不够全面，所以决定就自己编写的基于Java的spar...
2019-10-09 18:36:07
250
原创 报错：org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset!
我用的sbt来管理的spark项目，我所需要的jar包都放到了lib目录下，我用jdbc的方式去连接hive。本地测试一点毛病没有。但是！！！发布到服务器上，就报错：org.apache.thrift.TApplicationException: Required field ‘client_protocol’ is unset!于是我就百度谷歌，原因是我项目中的hive-jdbc版本与远程hi...
2019-09-30 10:58:40
4904
原创 jdbc连接hive，报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
我的错误原因是音乐查询语句所需要的内存不够，所以需要对url进行参数的配置。如下：jdbc:hive2://xxxxxxx/yyyyy?mapreduce.map.memory.mb=3809;mapreduce.map.java.opts=-Xmx3428m;mapreduce.reduce.memory.mb=2560;mapreduce.reduce.java.opts=-Xmx2304...
2019-09-25 20:17:39
353
原创 IDEA报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/expressions/UserDefinedFunction
第一步：第二步：勾上，解决！
2019-09-19 10:45:45
477
原创 spark通过jdbc的方式连接hive，输出为parquet
首先，我用的是下列方式来连接hive：def main(args: Array[String]): Unit = {Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance()val conf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[*]")...
2019-09-18 18:03:43
467
原创 Linux的root权限安装nvm后可用，切换用户以后报nvm: command not found解决办法
如何安装就不说了，网上一大把。接下来我说一下我遇到的坑，我在root环境下安装nvm，一切正常，但是我切换成普通用户以后，就会报命令找不到，命令找不到肯定就是路径的问题。以下就是我的解决办法：1.首先root环境下，打开~/.bashrc文件，你会看到NVM_DIR，这就是nvm的安装路径。其中有个$HOME这个路径。然后我就去命令行打印了一下$HOME，结果如下：之后我又切换了普通用户...
2019-09-10 17:00:16
5427
原创 Linux安装pm2后报 pm2: command not found 解决方法
一、安装pm2npm install -g pm2二、报pm2: command not found的错误①首先找到pm2安装路径，如果找不到执行：find / -name pm2②将pm2的路径软连接到/usr/local/bin下：ln -s /usr/local/src/node_global/lib/node_modules/pm2/bin/pm2 /usr/local/...
2019-09-10 16:32:31
3458
1
原创 将本地项目上传到远程分支
git add .git commit -m “commit”git push （-f） --set-upstream origin [远程分支名]-f表示强制覆盖
2019-08-23 10:37:44
780
原创 dockerfile python2.7+centos7
FROM centos:latestRUN yum -y install gcc openssl-devel bzip2-develRUN yum -y install gcc automake autoconf libtool makeRUN yum -y install wgetyum install -y vixie-cronWORKDIR /usr/srcRUN w...
2019-08-19 16:54:25
1790
原创 mysql使用游标循环结果集
存储过程：CREATE DEFINER=orion@% PROCEDURE task()BEGIN#定义需要操作结果集中的变量declare id int(11);declare name varchar(50);#设置开始标志，默认是true，如果为false循环结束declare flag int default true;#将结果集扔进定义的游标中declare yb cu...
2019-08-02 16:34:35
188
原创 Java开发工程师应届生春招秋招总结
Java开发工程师应届生春招秋招总结版权声明：本文为博主原创文章，未经博主允许不得转载。本人是本科双非应届生，在秋招的过程有一些小小的心得（包括部分面试题和面试时需要注意的问题），想分享给大家，大佬们勿喷。JAVA开发面试总结1.首先是穿着，如果穿正装真的很别扭，那就不用穿（比如我），穿一个带领子的衣服，颜色不要花里胡哨，大裤衩，死亡趿拉板都不要穿，你不尊重别人，别人也不会尊重你的。2....
2019-01-03 16:22:53
1053
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人