一杯彬美式-CSDN博客

1、下载、解压安装包：将安装包上传到master节点中的/opt/software目录下，并将安装包解压到/opt/moduel，再命名为kafka 具体命令如下：tar -zxvf kafka-2.11-2.0.0.tgz -C /opt/modulemv kafka-2.11-2.0.0.tgz kafka2、修改配置文件进入Kafka文件下的config目录，修改server.properties配置文件。首先我在/opt目录下创建一个/data目录，存放kafka日志

2022-05-28 21:22:48 605

原创 ZooKeeper的配置选项的安装步骤

（一）下载和安装zooKeeper（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module文件。可以用下面这一行代码：tar zxvf /opt/software/zookeeper-3.4.8.tar.gz -C /opt/module（2）解压安装包到 /opt/module目录下，修改 zookeeper-3.4.8.tar.gz 为 zookeeper，命令如下：mv zookeeper-3

2022-05-26 16:22:09 788 1

原创 Spark SQL 操作数据源

Spark SQL能够通过DataFrame 和Dataset操作多种数据源执行SQL查询，并且提供了多中数据源之间的转换方式。读取MySQL数据库：在master节点使用MySQL客户端创建数据库、数据表以及插入数据，具体命令如下：mysql -uroot -pPassword123$数据库和数据表创建后，如果想通过Spark SQL API方式访问MySQL数据库，需要在pom.xml配置文件中添加如下依赖：<dependency>...

2022-05-22 13:38:14 908

原创 RDD转换为DataFrame

spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系统下开发Scala 代码,可以使用本地环境测试,因此首先需要在本地磁盘准备文本数据文件，这里将HD FS中的/spark/person.txt文件下载到本地D:/spa...

2022-05-21 20:33:57 7263

原创 MySQL数据表检索的模糊查询（查询时选择行）

1、查询指定记录在SELECT语句中，通过WHERE子句可以对数据进行过滤，语法如下：select 字段1，字段2，字段n （或是全部信息 “*”） from 表名 where 条件；例：查询 “学生表” 中性别为 ”男” 的学生信息；2、带IN关键字的查询IN操作符用来指定条件范围，范围中的每个条件都可以进行匹配，语法格式如下：select 字段名1，字段名2，字段名n from 表名 where 字段名 in （值1，值2,...）例：使用IN操作符查询 “学生表”.

2022-05-19 16:28:54 1837

原创 MYSQL数据表的检索之查询时选择列

在数据表检索列名是可以按两种方法，一种是检索所有列，另一种是检索指定列。下面阿彬就简单写一下列名的检索。1、检索所有列：在SELECT语句中使用星号（*）通配符查询所有字段，其语法格式如下：select * from 表名。例：查询学生表的所有列名信息：2、检索指定列。（1）检索单个字段，查询表中某一个字段，语法格式为：select 字段名 from 表名;例：查询学生表中的姓名:（2）检索多个字段，语法格式为：select 字段1，字段2.字段n from表

2022-05-18 16:03:50 2316

原创 Linux操作系统中用户之间的简单操作

1.使用“useradd”命令新建用户例1：创建一个描述为testuser、名称为user1的用户:useradd -c testuser user1例2 ：创建一个所属目录为/usr/user2、名为user2的用户：useradd -d /usr/user2 user2例3：创建一个名为user3的用户并设置用户组为rootuseradd -g root user32.使用“userdel”命令删除用户user1例：删除用户user1userdel user13.

2022-05-17 22:17:34 620

原创配置Linux操作系统基础环境（最小安装）

配置服务器的IP地址：（1）在设置IP地址前要先看机器的网卡名称，命令如下： ip address show图中可以看出计算机的网卡名字为ens33，对应的网卡配置文件为 /etc/sysconfig/network-scripts/ifcfg-ens33,（2）使用 vi 对该文件进行编辑。（vi /etc/sysconfig/network-scripts/ifcfg-ens33）（3）首先把第四行 BOOTRPROTO=none的值改...

2022-05-15 16:38:24 718

原创 Spark SQL中DataFrame的常用操作

DataFrame提供了两种语法风格，即DSL语法和SQL语法风格，两者在功能上并无区别，仅仅是根据用户习惯。1、DSL风格操作（1）show()：查看DataFrame中的具体内容信息。（2）printSchema():查看DataFrame的Schema信息。（3）select()：查看DataFrame中选取部分列的数据。例：查询name字段的数据用personDF.select(“name”).show代码直接查询。例：对列名进行重命名。例：使用filter(..

2022-05-15 11:43:56 1135

原创 Spark SQL中的DataFrame的创建

创建 SparkSession 对象可以通过SparkSession.builder().getOrCreate()方法获取,但使用 Spark-Shell编写程序时，Spark-Shell客户端会默认提供了一个名为sc的 SparkContext 对象和一个名为 spark 的 SparkSession对象，因此可以直接使用这两个对象，不需要自行创建。启动 Spark-Shell命令如下所示。Spark-shell --master local [2]启动之后如下图：（1）准备数据：在

2022-05-14 19:42:45 767

原创 Linux虚拟机的安装

（1）点击“创建新的虚拟机”（2）点击“典型”（3）点击“稍后安装操作系统”，点击“下一步”（4）点击“Linux”选择”CentOS 7 64位”的虚拟机（5）点击“浏览”选择安装路劲（6）把最大磁盘大小设置为20G，点击“下一步”（7）点击“完成”（8）点击“编辑虚拟机设置”（9）这里需要自己去下载CentOS7的DVD镜像，网络适配器选择“VMnet8”（10）点击“中文”→“简体中文”，再点击“继...

2022-05-13 12:02:42 237

原创 Hadoop中Flume组件的安装和配置

（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module文件。可以用下面这一行代码：tar -zxvf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /opt/module（2）修改文件名，把原文件修改为flume,代码：mv apache-flume-1.6.0-bin/ flume（3）对flume进行修改权限，给予hado...

2022-05-12 00:21:04 1291

使用selenium爬取拉钩网

Spark笔记，发出来希望可以帮到各位

空空如也