- 博客(9)
- 收藏
- 关注
RSS订阅原创 ERROR cluster.YarnScheduler: Lost executor 2 on khlcfxpt-10.novalocal: Container killed by YARN for
如图所示，提交的spark在yarn上由于内存问题导致被yarn killed掉，由于是spark任务，因此修改yarn-site.xml中的map和reduce的配置无效问题的解决方案在用spark时设置内存配置例如：spark.memory.offHeap.enabled truespark.executor.memoryOverhead 5gspark.memory.offHeap.size 4gspark.driver.memory 4gspark.executor....
2020-12-25 17:48:45
843
原创 如何使用Apache-JMeter进行https的测试
问题：需要针对服务端的一个https的url进行测试解决方案：使用Apache-JMeter（专业的测试工具）进行测试步骤如下：1.安装Apache-JMeter，进入https://jmeter.apache.org官网，点击下载下载完毕解压，双击bin目录下的ApacheJMeter.jar即可打开2.添加一个线程组然后添加一个http请求，可以设定线程数与循环次...
2020-03-27 20:32:58
694
原创 为nginx添加新的module操作
问题:nginx需要添加vts模块解决方法:参考文档::https://www.cnblogs.com/luobiao320/p/7189934.html首先进入nginx/sbin文件夹下执行./ngin -V,查看当前nginx拥有哪些module 下载nginx.1.16.gz.tar文件(http://nginx.org/en/linux_packages.html)和要添加...
2020-03-01 00:41:35
1420
原创 使用java8对"List-Map-String,Integer-" 格式的list进行排序
public static void main(String[] args) { List<Map<String, Integer>> list = new ArrayList<>(); Map<String, Integer> map0 = new HashMap<>(); map0....
2019-12-18 10:45:11
1373
原创 向hive-es的映射表执行insert操作时报错及解决方案(针对报错,暂无可参考性)
解决方案,根据报错添加httpclient.jar 解决报错如下图:
2019-12-12 17:49:53
293
原创 azkaban任务中某job数据无法落地到hive的一次总结
问题: azkaban中的py脚本定时从hdfs中读取数据到hive表,但是数据一直没有落地到hive解决方案:首先在azkaban的project中找到该project;进入该project并下载压缩包 下载之后解压找到有问题的脚本并打开 找到py脚本中的hdfs路径 Xshell 连接到服务器,执行 hadoop fs -ls /usr/........
2019-11-27 17:50:09
332
原创 eureka注册中心多台服务器注册服务冲突的解决方案
问题描述: 当相同的服务在不同的服务器上向同一台或者一个集群的时候,由于服务名完全相同,导致只有一个服务可以注册成功,另外的服务无法注册成功.解决方案: 配置文件中添加 instance: prefer-ip-address: true ip-address: instance-id: ip:port在eureka中显示如...
2019-11-26 22:24:59
2300
原创 使用Alibaba Cloud Toolkit一键部署spring-boot项目并重启服务
需求:项目每次发布都要重新使用maven打包,上传到服务器,然后查看项目的pid,kill掉,再重新发布,及其繁琐解决步骤:在idea的setting中plugins搜索Alibaba Cloud Toolkit 此处可以连接到服务器 点击上面的Tools 填写项目所在服务器的文件夹 添加执行的命令 输入命令 切到Advanced 为了能够实现自动重启服务功...
2019-11-05 17:52:02
703
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人