「已注销」-CSDN博客

原创【macOS】关闭Microsoft AutoUpdate

背景macOS安装Microsoft Office for Mac之后，有时候会弹出Microsoft Auto Update微软应用自动更新工具。就像下面这样如果您不需要弹出这个对话框，有两种方式。方法一：设置权限不可访问打开终端cd /Library/Application\ Support/Microsoft/MAU2.0sudo chmod 000 Microsoft\ Au...

2020-04-15 11:33:46 5788

原创【CDH部署】全网最简单CDH6.2.0环境部署

下载链接官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3主机规划sparkproject1 manager 8G 50GBsparkproject2 agent 4G 50GBsparkpr...

2020-02-19 21:25:53 1513

原创【Hadoop部署】Hadoop环境部署5-Zookeeper、Kafka安装

zookeeper配置cd zk/confcp zoo_sample.cfg zoo.cfgvim zoo.cfg修改：dataDir=/usr/local/zk/data新增：server.0=sparkproject1:2888:3888 server.1=sparkproject2:2888:3888server.2=sparkproject3:2888:3888同步...

2020-02-19 20:43:41 202

原创【Hadoop部署】Hadoop环境部署4-Scala、Spark安装

Scala安装scala解压，放到/usr/local/scala，配置好环境变量即可。Spark安装cd /usr/local/spark/confcp spark-env.sh.template spark-env.shvi spark-env.shexport JAVA_HOME=/usr/local/javaexport SCALA_HOME=/usr/local/scala...

2020-02-19 20:31:02 186

原创【Hadoop部署】Hadoop环境部署3-HIVE安装

安装mysql（mariadb）yum安装yum install mariadb-serveryum install -y mysql-connector-java设置开机启动并配置systemctl start mariadb # 开启服务systemctl enable mariadb # 设置为开机自启动服务mysql_secure_installationmysql相关...

2020-02-19 20:25:14 225

原创【Hadoop部署】Hadoop环境部署2-Hadoop安装

解压并移动解压tar文件之后，移动文件夹到/usr/local/hadoop文件夹tar -zxf hadoop-xxxx.tarmv hadoop-xxxxx /usr/local/hadoop配置文件修改如下配置文件core-site.xml<configuration> <property> <nam...

2020-02-19 20:12:34 151

原创【Hadoop部署】Hadoop环境部署1-Linux基础设置

1、先临时性设置虚拟机ip地址：ifconfig ens33 192.168.71.110在/etc/hosts文件中配置本地ip到host的映射2、配置windows主机上的hosts文件：C:\Windows\System32\drivers\etc\hosts192.168.71.110 sparkproject1192.168.71.111 sparkproject2192....

2020-02-19 20:05:29 318

原创【Spark】Spark常用方法总结4-SparkStreaming（Scala版本）

编程入口object Main4 { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local[*]").appName("test").getOrCreate() spark.sparkContext.setLogLevel("...

2020-01-29 19:07:42 413

原创【Spark】Spark常用方法总结4-SparkStreaming（Python版本）

SparkStreamingContextspark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()ss = StreamingContext(spark.sparkContext, 10)lines = ss.socketTextStream('10.255.77.183', 10086)r...

2020-01-29 18:57:48 416

原创【Spark】Spark常用方法总结3-DataFrame常用方法（Python版本）

创建df1 = spark.read.load(r'E:\常用基础数据\po.csv', 'csv')schema = StructType( fields=list(map(lambda x: StructField(x, StringType(), True), [chr(ord('A') + x) for x in range(10)])))df1 = spark.read....

2020-01-29 18:48:44 527

原创【Spark】Spark常用方法总结2-RDD的使用（Python版本）

生成RDDrdd1 = sc.parallelize([['zhangsan', 'M', 29], ['lisi', 'F', 22], ['wangwu', 'M', 30]])rdd2 = sc.textFile(r'E:\常用基础数据\po.csv')collect、collectAsMap、firstcollect获取全部rdd元素, 生成listcollectAsMap获取...

2020-01-29 18:45:10 679

原创【Spark】Spark常用方法总结1-创建编程入口（Python版本）

前言今天有时间，将自己的笔记分享出来，方便同僚查阅。不断详细与更新中。为了方便，例子都是以Python写的，后续也会有其他语言的版本。创建编程入口SparkContext入口from pyspark import SparkConf, SparkContextif __name__ == '__main__': conf = SparkConf().setAppName("te...

2020-01-29 18:35:19 325

原创 Windows设置在当前目录打开Windows Terminal

前言最近因为在学习Flume、Kafka，要运行好几个实例，把任务栏站得满满的。于是考虑使用Windows Terminal。Windows Terminal自从出来之后备受好评，功能简单扩展性强，颇有VS Code的作风。但是习惯了Shift+右键在此处打开命令窗口（在此处打开Power Shell窗口），就在想可不可以把右键菜单的cmd替换为Windows Terminal，并实现在此处打...

2020-01-16 17:07:41 9362 7

refbit的博客