OWBY_Phantomhive的博客

首先启动数据库，mysql -u root -p创建spark数据库，和一张student表测试使用mysql> create database spark;Query OK, 1 row affected (0.02 sec)mysql> use spark;Database changedmysql> create table student (id int(4), name char(20), gender char(4), age int(4));Query O

连接mysql出现报错py4j.protocol.Py4JJavaError: An error occurred while calling o28.load.: java.sql.SQLException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver

本文所使用方式为在windows独立环境中进行pyspark的开发，如需链接hdfs还是要借助虚拟机的，主要包含以下几个步骤一、windows中的环境配置1、java的安装这里建议大家选择版本较低的java版本，如果版本较高可能会出现不兼容问题，Java和hadoop的安装流程我之前的文章里面有，大家可以看一下，这里附上链接hadoop安装2、hadoop的安装hadoop安装链接同上3、scala的安装先下载scala的压缩包,依然是官网地址,建议2.11的版本,因为后续我们使用的s

文章目录Python3.7安装**注意**一定严格按照流程，最好配置前备份虚拟机，python安装后出问题，卸载比较麻烦1、安装依赖包2、下载python3.7.0源码，根据需求下载1）下载2）解压Python-3.7.0.tgz3）建立一个空文件夹，用于存放python3程序4）执行配置文件，编译，编译安装5）建立软连接6）测试一下python3Python3.7安装注意一定严格按照流程，最好配置前备份虚拟机，python安装后出问题，卸载比较麻烦1、安装依赖包1）首先安装gcc编译器，gcc有些

文章目录scala安装一、软件解压二、配置环境变量三、验证Spark安装一、解压二、添加环境变量三、修改启动变量文件四、启动Spark五、验证scala安装本文中所有软件都以单机模式配置，提供测试学习使用一、软件解压cd /usr/local/soft/下载压缩包https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz解压​ tar -zxvf scala-2.13.1.tgz重命名mv scala-

文章目录scala安装一、软件解压二、配置环境变量三、验证Spark安装一、解压二、添加环境变量三、修改启动变量文件四、启动Spark五、验证Python3.7安装**注意**一定严格按照流程，最好配置前备份虚拟机，python安装后出问题，卸载比较麻烦1、安装依赖包2、下载python3.7.0源码，根据需求下载1）下载2）解压Python-3.7.0.tgz3）建立一个空文件夹，用于存放python3程序4）执行配置文件，编译，编译安装5）建立软连接6）测试一下python3Pycharm破解解压压缩包

文章目录1. RDD转换成DataFrame的两种方式2.DataSet的创建3.类型之间的转换总结4.RDD、DataFrame、DataSet三者的共性与区别共性：区别：RDD:DataFrame:Dataset:1. RDD转换成DataFrame的两种方式rdd可以通过下面这种方式得到DataFrame：valpeopleDF = peopleRdd.map(_.split("")).filter(_.length==2).map(paras=>(paras(0),paras(1).t

1.创建maven项目首先创建一个maven工程，具体流程可查看这篇文章创建Maven项目2.接下来是pom文件的编辑这里我们用的spark版本是2.4.5，scala是2.12，所以要选择spark-streaming-kafka-0-10_2.12<dependencies> <dependency> <groupId>org.apache.spark</groupId> <a

创建的maven工程有些jar包无法在pom文件中直接下载，怎么办可以尝试一下手动导入，访问maven的官网maven官网直接搜索自己想要下载的jar包名比如spark-streaming-kafka找到自己需要的版本，直接进行下载有了jar包之后，接下来手动导入到我们的项目中以idea为例，点击project structure加号里面点击java，这里最好把需要添加的jar包放在纯英文的路径下，手动选择我们下载的jar包就可以了添加完记得apply应用...

禁用防火墙：systemctl stop firewalld.servicesystemctl disable firewalld.service查看防火墙状态: systemctl status firewalld重启网络服务：service network restart 或systemctl restart network或者重启系统：reboot进行测试：ping www.baidu.com...

在配置hadoop集群的过程中，如果遇到 Name or service not knowstname *****这种问题，大概率是配置文件出错，如图显示的是datanodes节点的启动问题，那么问题应该是在workers文件中遇到这个报错信息，可以在linux中检查自己的workers文件检查workers的文件格式如果格式为doc，需要更改文件格式为unix先使用yum指令下载工具yum install -y dos2unix下载完成后，改变workers文件格式dos2unix w

本文为搬运，我自身并没有使用过，大家感兴趣可以试一试Python 版本：Python 3.8模拟器：雷电模拟器（推荐）｜网易 MuMu模拟器分辨率：1024*576网易 MuMu 显卡渲染模式：兼容（OpenGL）兼容 Windows 系统和 MacOS 系统（不太友好，发热严重且需要重新截图）个人使用顺序每周首先挂秘闻副本，每天三大地域鬼王，结界突破券满了挂突破，突破用完了挂御魂，大概 80-100 次左右御魂结界突破券会满，满了继续挂突破…思路：利用 adb 截图后，使用 open

在使用idea进行spark开发时遇到如下报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at org.apache.spark.streaming.Duration.<init>(Duration.scala:22) at org.apache.spark.streaming.Seconds$.apply(Duration.scala:90) at streamingtes

TextBlob简介TextBlob是一个用Python编写的开源的文本处理库。它可以用来执行很多自然语言处理的任务，比如，词性标注，名词性成分提取，情感分析，文本翻译，等等。Github地址：https://github.com/sloria/TextBlob官方文档：https://textblob.readthedocs.io/en/dev/TextBlob实战安装：pip install textblob如果下载速度太慢，可以配置国内源安装：pip install textblob

1.进入地址：https://dev.mysql.com/downloads/mysql/下载mysql-8.0.11-winx642.解压zip包，并将解压文件放入一个文件夹下，如图：3.配置环境变量（目的是为了避免在CMD窗口下操作时反复切换路径）在Path下添加 解压的mysql的bin目录路径如：D:\Program Files\mysql-8.0.11-winx64\bin4.编写配置文件我们发现解压后的目录并没有my.ini（或my-default.ini）文件，没关系可以自行