![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 69
又迷茫了
普通一名大学生
展开
-
实验五 Spark Structured Streaming编程实践
在新开的终端内输入 vi spark_exercise_testsyslog1.py ,贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令,否则多次运行测试可能导致没有新数据生成。在新开的终端内输入 vi spark_exercise_testsyslog3.py ,贴入如下代码并运行。运行之前需要关闭“tail终端”内的tail命令并重新运行tail命令,否则多次运行测试可能导致没有新数据生成。原创 2024-05-08 16:54:58 · 501 阅读 · 0 评论 -
实验四 Spark Streaming编程初级实践
数据流:数据流通常被视为一个随时间延续而无限增长的动态数据集合,是一组顺序、大量、快速、连续到达的数据序列。通过对流数据处理,可以进行卫星云图监测、股市走向分析、网络攻击判断、传感器实时信号分析。原创 2024-04-02 00:14:15 · 1717 阅读 · 4 评论 -
windows下的IDEA运用Scala 编写的 Apache Spark 应用程序
Ultimate 版本为旗舰版,需要付费,包括完整的功能Community 版本为社区版,免费,只支持部分功能。这里我们选择左边 Ultimate 版本进行下载,然后进行激活。编写Spark应用程序,该程序对HDFS文件中的数据文件peopleinfo.txt进行统计,计算得到男性总数、女性总数、男性最高身高、女性最高身高、男性最低身高、女性最低身高。,点击 Developer Tools,再点击 Intellij IDEA。下载地址:(这个适合3.1.x的版本)然后修改成下载的Maven路径。原创 2024-03-19 21:20:51 · 1087 阅读 · 0 评论 -
spark实验三 Spark SQL编程初级实践
将下列json数据复制到你的ubuntu系统/usr/local/spark下,并保存命名为employee.json。原创 2024-03-06 10:00:00 · 1842 阅读 · 0 评论 -
spark 实验二 RDD编程初级实践
请下载chapter4-data1.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:Jim,,60……原创 2024-03-05 14:52:35 · 1602 阅读 · 0 评论 -
pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
【代码】pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver。原创 2024-03-05 13:52:35 · 576 阅读 · 0 评论 -
pyspark object of IntegerType out of range
把数据类型修改成Longtype。原创 2024-03-05 13:25:04 · 385 阅读 · 0 评论 -
[ERROR] Failed falling back to unsupportedjava.lang.NumberFormatException: For input string: “0x100“
解决办法。原创 2024-03-05 13:22:57 · 331 阅读 · 0 评论 -
spark的保姆级配置教程
如果报以下错误,就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名,重命名为。在文件后面追加下面的内容。路径根据你自己的修改。原创 2024-02-28 22:34:15 · 1863 阅读 · 0 评论 -
sqoop的安装配置教程
sqoop的安装配置原创 2023-12-11 23:29:28 · 685 阅读 · 0 评论 -
hive的安装和配置
把相关配置修改成你自己的hive。原创 2023-12-04 10:33:28 · 326 阅读 · 0 评论 -
Hbase java api操作
【代码】Hbase java api操作。原创 2023-11-10 10:00:00 · 55 阅读 · 1 评论 -
Hbase的搭建教程
【代码】Hbase的搭建教程。原创 2023-10-01 15:52:32 · 873 阅读 · 0 评论 -
在Windows下用navicat,连接虚拟机的MySQL
(如果没有配置虚拟机网络,可以参考我的一篇文章,里面有关于网络配置的信息)原创 2023-09-30 15:24:11 · 3625 阅读 · 1 评论 -
Hadoop集群搭建和配置
(CentOS和Windows这两台机子通过虚拟网关互联,虚拟网关由VMware workstation生成,在Windows上会生成一个虚拟网卡VMnet8,这个网卡地址和本机的物理网卡没有关系)在VMware workstation的菜单 编辑 -> 虚拟网络编辑器 可以查看和修改虚拟网关地址。(<value> </value>)标签内填上自己的安装路径,和修改主机名称,从hadoop官网下载速度太慢了,下面我们采用清华源下载,或者百度网盘下载。接着在共享文件目录下面,打开终端(jdk版本自己修改)原创 2023-09-14 11:58:02 · 611 阅读 · 1 评论