简单的小呆瓜-CSDN博客

python-3.6.6-amd64.exeAnaconda3-5.2.0-Windows-x86_64.exe tensorflow-1.10.0-cp36-cp36m-win_amd64或者：anaconda的下载地址：清华大学开源软件镜像站tensorflow下载地址：tensorflow 1.10.0在Anaconda Prompt中，用Anaconda3创建一个虚拟的python3.6的环境，环境名称为tensorflow ，输入下面命令：删除刚创建的清华仓库镜像重新添

2022-07-09 22:07:36 1234

原创 Xshell简单脚本

在scp.sh中添加如下内容：（注：test10需要在/home/ZQ中存在）在zk.sh中增加如下内容：关闭zookeeper在kf.sh文章中增加如下内容：关闭kafka在jps.sh文件中增加如下内容：

2022-06-03 10:13:41 37

原创 Kafka+Spark-String实现流式计算（WordCount）

下载spark-streaming-kafka-0-10_2.12-3.2.0.jar: https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.12/3.1.1下载spark-token-provider-kafka-0-10_2.12-3.2.0.jar：https://mvnrepository.com/artifact/org.apache.spark/spark-token-provider

2022-06-02 21:47:39 535

原创使用GeoMesa实现时空索引并进行KNN查询

安装geomesa-hbase将geomesa-hbase_2.11-3.4.0-bin.tar.gz上传到xshell解压geomesa-hbase_2.11-3.4.0-bin.tar.gztar -zxvf geomesa-hbase_2.11-3.4.0-bin.tar.gz配置环境变量vim .bashrc添加如下内容：#geomesa_hbaseexport GEOMESA_HBASE_HOME=/home/ZQ/geomesa-hbase_2.11-3.4.

2022-05-29 10:41:47 768

原创用Spark MLlib进行数据挖掘

import org.apache.spark.ml.Pipelineimport org.apache.spark.ml.classification.{RandomForestClassificationModel,RandomForestClassifier}import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluatorimport org.apache.spark.ml.feature.{IndexToStri.

2022-05-27 11:52:30 966

原创用Spark GraphX进行图计算（详细步骤）

SimpleGraphX1.1 创建文件夹（10.103.105.63）spark-3.1.1-bin-hadoop2.7/Test/mkdir graphxcd graphxmkdir simplegraphxcd simplegraphxmkdir -psrc/main/scalacd /src/main/scala1.2 创建graphx.scala文件vim graphx.scala在文件graphx.scala...

2022-05-24 22:56:07 1170

原创 spark-streaming实现wordcount（详细步骤）

一、命令行方式实现1.1 创建目录logfilecd spark-3.1.1-bin-hadoop2.7/Testmkdir -p streaming/logfile1.2 进入spark-shellcdcd spark-3.1.1-bin-hadoop2.7/bin/spark-shell1.3 命令行依次输入以下代码查看实验结果import org.apache.spark._import org.apache.spark.streamin.

2022-05-24 22:02:55 1330

原创 spark-2.1.1-bin-hadoop2.7的安装配置

配之前准备将spark-2.1.1-bin-hadoop2.7.tgz安装包上传到xshell在xshell上解压压缩包输入解压命令：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz配置1、配置环境变量vim .bashrc在文件末尾添加如下内容：#Sparkexport SPARK_HOME=/home/hadoop/spark-2.1.1-bin-hadoop2.7export PATH=${SPARK_HOME}/..

2022-05-21 13:58:49 1552

原创 Spark-bench的安装配置

配置前准备将spark-bench_2.3.0_0.4.0-RELEASE上传到xshell并解压解压命令：tar -zxvf spark-bench_2.3.0_0.4.0-RELEASE.tgz配置1、配置环境变量

2022-05-21 13:37:18 389

原创利用anaconda3画正余弦图现象

利用anaconda3画正余弦图现象，并且给图像进行部分填充、加入注释达到如下图的效果#导入相应的包import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.family']=['SimHei']plt.rcParams['axes.unicode_minus']=False#确定画布大小fig=plt.figure(figsize=(5,4),dpi=90)ax=fig.add_subplot(

2022-05-11 20:37:13 613

原创 sparkbench产生数据集

1、在在/home/hadoop/sparkbench/examples目录下创建测试文件test.confcd spark-bench_2.3.0_0.4.0-RELEASE/cd examples/vim test.conf在test.conf文件下添加如下内容：spark-bench = {spark-submit-config = [{conf={"spark.default.parallelism"=100}spark-args={master="loc.

2022-05-03 16:24:36 909

原创 sbt的安装和应用（详细步骤）

安装将sbt-1.6.1.tgz上传到xshell，并解压

2022-04-12 17:41:26 6340

原创利用pandas工具包完成2.7本章实训（python数据分析与可视化（第2版））

#导入模块import pandas as pdimport numpy as np#获取数据#导入待处理数据white_wine.csv，并显示前5行data=pd.read_csv("D:\python test\white_wine.csv")data.to_csv("D:\python test\my_white_wine.csv")data.head()#查看白葡萄酒总共分为几种品质等级group1=data['quality'].groupby(data['qual.

2022-04-07 18:50:01 2931

原创命令行实现kafka生产者和消费者（详细步骤）

启动kafkacd zookeeper/apache-zookeeper-3.7.0-bin/bin/zkServer.sh startcdcd kafka/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon config/server.properties在kafka上创建一个话题testbin/kafka-topics.sh --bootstrap-server westgisB063:9092 --cr.

2022-04-07 18:40:06 3002

原创程序模拟完成kafka生产者和消费者实验

kafka上的操作1、启动kafkacd zookeeper/apache-zookeeper-3.7.0-bin/bin/zkServer.sh startcdcd kafka/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon config/server.properties2、在kafka上创建一个话题testbin/kafka-topics.sh --bootstrap-server westgisB.

2022-04-07 16:52:12 1122

原创 python数据分析与可视化（第2版）——3.8本章实训

#3.8本章实训#求花瓣长度均值最大的品种和花瓣长度方差最小的品种#导入模块import numpy as npimport csv#获取数据iris_data=[]with open("D:\python test\iris.csv") as csvfile: csv_reader=csv.reader(csvfile) birth_header=next(csv_reader) for row in csv_reader: iris_data.ap.

2022-03-23 21:17:58 28

原创 scala的运行（详细步骤）

scala脚本运行cd scala-2.12.13/Test/1、在Test文件夹下创建一个index1.scala的文件vim index1.scala输入如下内容：println(" This is the first line")println(" This is the second line")println(" This is the third line")2、进入scalacd scala-2.12.13scala3、运行index1..

2022-03-20 16:32:18 7107

原创外置zookeeper的kafka的安装配置（详细步骤）

配置前准备将kafka_2.12-3.0.0.tgz安装包上传到xshell在xshell上解压缩包输入解压命令：cd kafkatar -zxvf kafka_2.12-3.0.0.tgzkafka有内置的zookeeper,但是此处采用外置zookeeper,此时zookeeper必须安装配置成功配置1、配置环境变量vim .bashrc在文件末尾增加如下内容:#kafkaexport KAFKA_HOME=/home/ZQ/kafka.

2022-03-20 16:05:59 3542

原创 zookeeper的安装配置（详细步骤）

配置前准备将apache-zookeeper-3.7.0-bin.tar.gz安装包上传到xshell在xshell上解压缩包输入解压命令：cd zookeepertar -zxvf apache-zookeeper-3.7.0-bin.tar.gz配置1、配置环境变量vim .bashrc在文件末尾增加如下内容:#zookeeperexport ZOOKEEPER_HOME=/home/ZQ/zookeeper/apache-zookeeper

2022-03-20 15:42:54 22753

原创 xshell的简单脚本——拷贝脚本

1、编写脚本cd sh（其中sh为拷贝脚本所放位置）vim scp.sh#!/bin/bashfor i in westgisB0{59..63};do echo =======$i============= scp -r $1 $i:$2 echo ======远程拷贝成功======done2、运行脚本./scp.sh /home/ZQ/文件名（文件test需要在/home/ZQ/中存在）...

2022-03-18 10:22:44 41

原创 python数据分析与可视化（第2版）——2.7本章实训

2.7本章实训#读取数据import csv f=open("D:\python test\white_wine.csv","r") reader=csv.reader(f) content=[] for row in reader: content.append(row) f.close() for i in range(5): print

2022-03-16 16:20:08 4813

原创 python之Anaconda中的Jupyter Notebook运行不了

出现以下情况的解决办法情况一：先点击1重启内核后再点击2运行即可情况二:用情况一的办法仍没解决此种情况下，可能是win10使用VScode内置的Jupyter时中文用户名导致无法运行的问题解决办法：打开环境变量设置，更改用户环境变量中的TEMP③中的路径可以随便改成自己想要的路径...

2022-03-12 00:04:45 11236 5

原创 Spark的安装配置（spark-3.1.1-bin-hadoop2.7）

配之前准备将scala-2.12.13.tgz和spark-3.1.1-bin-hadoop2.7.tgz安装包上传到xshell在xshell上解压压缩包输入解压命令：tar -zxvf scala-2.12.13.tgztar -zxvf spark-3.1.1-bin-hadoop2.7.tgz配置1、配置环境变量vim .bashrc在文件末尾添加如下内容：#sparkexport SPARK_HOME=/home/...

2022-03-01 15:55:31 5234

原创 linux中的常见命令

1、tar -zxvf 压缩包名 —— 解压压缩包2、vim 文件名 —— 修改文件3、vim .bashrc —— 修改环境变量4、source .bashrc —— 使环境变量生效5、

2021-12-08 11:29:11 222

原创 Hadoop之Hibench的安装配置（详细步骤）

配置前准备下载Hibench-master.zip的安装包并解压，将解压后的HiBench-master上传到XShell配置

2021-12-08 10:46:55 1858

原创 Phoenix的安装配置以及数据处理（详细步骤）

配置前准备将phoenix-hbase-1.4-4.16.1-bin.tar.gz的安装包上传到xshell在xshell上解压压缩包（或者直接将压缩包解压后再上传到xshell）输入解压命令：tar -zxvf phoenix-hbase-1.4-4.16.1-bin.tar.gz配置1、配置环境变量vim .bashrc在文件末尾添加如下内容：#phoenixexport PHOENIX_HOME=/home/ZQ/phoenix-hbase-1.4.

2021-12-06 15:03:53 2344

原创用Ycsb测试HBase的性能（详细步骤）

配置前准备将ycsb-hbase14-binding-0.17.0.tar.gz的安装包上传到xshell在xshell上解压压缩包输入解压命令：tar -zxvf ycsb-hbase14-binding-0.17.0.tar.gz配置1、配置环境变量vim .bashrc在文件末尾添加如下内容：#ycsbexport YCSB_HOME=/home/ZQ/ycsb-hbase14-binding-0.17.0export PATH=$PATH:$..

2021-12-05 16:03:28 2132

原创 Hadoop之免密登录

1、在每个节点生成ssh密钥cd .sshssh-keygen -t rsa2、在主节点上将公钥拷贝到一个特定文件authorized_keyscp id_rsa.pub authorized_keys3、将authorized_keys 文件拷到下一个节点登录下一个节点，将该节点的ssh公钥id_rsa.pub 加入authorized_keys 文件（以58节点为例：将authorized_keys 文件拷到58，登录58，将58节点的ssh公钥i...

2021-11-25 21:55:12 4517

原创 Hadoop之Hbase建表（详细步骤）

1、启动HDFS和HBasecd /home/ZQ/hadoop-2.7.6/sbinstart-dfs.shcd /home/ZQ/hbase-1.4.13/bin/start-hbase.sh2、进入hbase shellcdhbase shell3、创建表create 'StudentAndCourse','student','course1','course2','course3'4、插入数据①新增学号为2015001.

2021-11-23 23:23:30 29024

原创 Hadoop之Hive的安装配置（详细步骤）

配置前准备下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell在XShell上解压

2021-11-23 22:53:32 7917 10

原创 Hadoop之提交应用程序（详细步骤）

以提交wordcount为例——hadoop自带的例子程序启动HDFS和yarn$HADOOP_HOME/sbin/start-dfs.sh$HADOOP_HOME/sbin/start-yarn.sh数据准备进入$HADOOP_HOME目录cd $HADOOP_HOME创建数据文件vim input.txt输入如下内容hello bigdata 2017hello bigdata 2018hello bigdata 2019hello bigdat.

2021-11-09 23:07:41 1946

原创 eclipse打包jar包并通过XShell运行jar包（详细步骤）

在eclipse中编写代码并运行成功将输入和输出路径改为xshell中的路径，并运行（虽然会报错，但是不用管）点击eclipse中的File下面的Export选择Runable Jar file然后点击Next选择jar包运行的main类，以及定义jar包的名字，保存的地方将导出来的jar包上传到xshell，并在右边新建input.txthe output.txt输入java -jar jar包名.jar 即可运行jar包（要在ja...

2021-11-06 16:49:54 1331