qq_60384774的博客

原创 这个文件牛逼

三、3分# 主要配置项Listen8070# 其他内容省略四、7分filebeat.inputs:- type:log# to do enabled:true# to dopaths:-/app/httpd/logs/error_logfilebeat.config.modules:path:${path.config}/modules.d/*.ymlreload.enabled:...

原创 书证x+1

题目：题目说明：# 二、数据采集任务场景二（编程开发） ## 1、数据场景： ### 采集网站 http://117.73.11.244:9090/ ### chrome浏览器启动 启动chrome：/opt/google/chrome/google-chrome --no-sandbox ### python开发工具启动 启动pycharm：/home/pycharm-community-2020.1.1/bin/pycharm.sh ### 工程目录说明 工程目录是：/root/PycharmP

原创 陪陪陪陪陪文文文文

(1)core_site.xml<configuration><property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value></property><property> <name>hadoop.tmp.dir</name> <value>/var...

原创 完全分布spark

原创 配置JAVA_HOME HAOOP_HOME

原创 数据可视化

python--pandas-数据可视化画线；df.loc['Algeria'].plot(kind='line', label='Algeria') #取出 Algeria 这一行的数据plt.legend(loc='upper left')df.T[['Albania', 'Algeria', 'Argentina']].plot(kind='line')直方图count, bin_edges = np.histogram(df_can['2...

原创 数据分析代码

1，打开： data=pd.read_csv('data_etr.csv',parse_dates=['DATA_DATE'],encoding='gbk')data.head()data=pd.read_excel('data/meal_order_detail.xlsx',sheet_name='meal_order_detail1)2，透明表：pd.pivot_table(data=data,values='KWH',index='CONS_NO',columns='DATA_DATE')

原创 爬虫知识清单

url="http://www.jnvc.cn/"rq=requests.get(url)rq.encoding="utf-8"dom = etree.HTML(rq.text)product_name= dom.xpath('//div[@class="header"]/div[@class="nav"]/ul/li/a/text()')product_desc= dom.xpath('//div[@class="header"]/div[@class="nav"]/ul/li/a/@

原创 hadoop完全分布式搭建

压缩：tar -zxf /opt/software/hadoop-2.6.4.tar.gz -C /usr/local配置文件 （1）core-site.xml<>

原创 题是什么什么什么

大数据平台组件搭建。要求在Hadoop集群上搭建1.6.3版本的Spark分布式集群。（提示如下，注意每一步骤的代码与结果需截图在报告中体现）1.Spark安装包处理，解压到/usr/local目录下，在master节点通过命令“wget -P /opt http://datasrc.tipdm.net:81/bigdata/spark/software/spark-1.6.3-bin-hadoop2.6.tgz”进行获取。2.Spark配置文件修改（spark-env.sh、slaves、s..

原创 hadoop环境搭建

在hadoop102上面配置配置jdk和hadoop环境变量。 (1)配置jdk环境变量 打开/etc/profile vi /etc/profile 进去以后先按a(插入文本）然后去文件的最后一行在里面添加如下内容（其中JAVA_HOME为安装jdk的路径）export JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/binvi /etc/hosts配置JAVA_HOME HAOO.

原创 9. 在hadoop102上面配置配置jdk和hadoop环境变量。(1)配置jdk环境变量打开/etc/profilevi /etc/profile进去以后先按a(插入文本）然后去文件的最后

在hadoop102上面配置配置jdk和hadoop环境变量。 (1)配置jdk环境变量 打开/etc/profile vi /etc/profile 进去以后先按a(插入文本）然后去文件的最后一行在里面添加如下内容（其中JAVA_HOME为安装jdk的路径）export JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/binvi /etc/hosts配置JAVA_HOME HAOOP_H