![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
吾说
计算机科学与技术专业在读学生
展开
-
Ubuntu中hadoop :localhost:50070无法访问
前人有很多经验,比如防火墙没有关闭,可以自行百度看看,不在此贴链接了 或者关闭VPN之流 https://blog.csdn.net/pearyangyang/article/details/78065940 但是我用命令 ufw disable 发现还是无法访问,最后参考 https://stackoverflow.com/questions/19641326/http-localho...转载 2020-04-30 15:12:49 · 786 阅读 · 0 评论 -
spark + kafka + sparkstreaming (Python版)(踩坑后记录)(一站式搭建)
主要参考厦大林子雨老师的博客 按以下步骤来(按给出的参考链接顺序搭建) 1.spark搭建 http://dblab.xmu.edu.cn/blog/2441-2/ http://dblab.xmu.edu.cn/blog/1689-2/ 2.kafka http://dblab.xmu.edu.cn/blog/1096-2/ 3.spark中整合kafka http://dbla...原创 2020-04-23 20:32:58 · 797 阅读 · 1 评论 -
/usr/bin/python^M: 解释器错误: 没有那个文件或目录
【1】问题现象 执行python脚本,提示错误:/usr/bin/python^M: 解释器错误: 没有那个文件或目录 【2】原因分析 大多数是因为脚本文件在windows下编辑过。在windows下,每一行的结尾是\r\n,而在linux下文件的结尾是\n。 那么,你在windows下编辑过的文件在linux下打开看时候每一行就会多出来一个字符\r,而在linux下文件的结尾是\n, ...转载 2020-04-20 16:14:57 · 1326 阅读 · 0 评论 -
使用Kafka-Connect导入导出数据
摘要 本文主要内容是介绍如何使用kafka-connect进行导入导出数据,文章内容来自于kafka官方文档,对官方文档中一些内容作了简要补充。 简介 向console中写入数据然后再写回到console是非常方便的,但是你可能想从其他的数据源写入数据,然后将数据导出到kafka以外的其他系统,kafka connect 为很多系统提供导入导出数据功能,而不用写任何代码 1、准备数据源 &g...转载 2020-04-20 11:08:49 · 380 阅读 · 0 评论 -
spark python
1.目录切换到cd /usr/local/spark 2.新建自己的程序文件夹app/python 3.切换到python文件夹cd app/python 4.新增test.py 文件 touch test.py或者vim test.py 5.编辑test.py gedit test.py(推荐gedit,上步用vim可忽略此步) 6.切换回 cd /usr/local/spar...原创 2020-04-13 17:24:36 · 109 阅读 · 0 评论