- 博客(8)
- 收藏
- 关注
RSS订阅原创 Hadoop集群安装部署详细过程
3.Hadoop集群安装背景（1）关闭防火墙（2）实现免密登陆① 修改主机名② 修改/etc/hosts文件③ 生成密钥④ 测试免密登陆（3）创建文件夹及上传安装包（4）修改一系列配置文件① 修改core-site.xml文件② 修改hadoop-env.sh文件③ 修改hdfs-site.xml文件④ 新建并修改mapred-site.xml文件⑤ 修改slaves文件⑥ 修改yarn-site.xml文件⑦ 修改yarn-env.sh文件（5）主节点初始化（6）启动hadoop（7）运行自带的wo
2020-10-25 10:56:23
3067
原创 Linux-JDK 1.8的详细安装过程
Linux-JDK安装安装包下载上传解压添加环境变量安装包下载Jdk版本：1.8.0下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133161.html我这里下载的是：jdk-8u211-linux-x64.tar.gz上传解压在/home/app/下建立java文件夹# cd /home/app# mkdir java上传jdk安装包到/home/app/java/下，进入文件
2020-10-24 15:16:41
147
原创 Linux-设置静态IP的详细过程
Linux-静态IP设置查找网络设置文件修改文件内容虚拟机设置为桥接模式重启网卡查找网络设置文件# cd /etc/sysconfig/network-scripts/修改文件内容dhcp修改为 staticIP_FAILURE_FATAL=no修改为yesON_BOOT=no修改为yes添加下面四个ip及网关等相关信息，ip可以设置为dhcp模式时的IP值(即修改前查看IP，将其设置为静态IP):wq! 保存修改内容。虚拟机设置为桥接模式重启网卡service network
2020-10-24 15:01:19
181
原创 大数据环境的搭建部署
大数据环境的搭建部署安装环境物理机环境：软件环境：用户安装范围本篇交代的是搭建的硬件环境：安装环境本文档除airflow外其他全部为离线安装包安装；物理机环境：--64位Windows10操作系统；--内存16G；--256G SSD存储；--1T 机械硬盘存储；软件环境：--安装VMware Workstation Pro虚拟机；--虚拟机上安装的CentOS 7操作系统 * 3；--每台分配2G内存--每台分配40G硬盘存储用户本机安装用户除特殊几个外均为root用户，可根
2020-10-24 14:46:26
447
1
原创 python关于日期的获取和处理
python关于日期的获取和处理获取当天日期获取当前时间datetime转date格式获取昨天日期获取昨天日期获取日期加减后日期获取本年第一天日期获取本年最后一天日期获取本月第一天日期获取本月最后一天日期获取下月第一天日期获取下月最后一天日期获取上月第一天日期获取上月最后一天日期获取本季第一天日期获取本季最后一天日期获取上季最后一天日期获取上季第一天日期获取下季第一天日期获取下季最后一天日期获取本周第一天日期获取本周最后一天日期获取当前日期是本周第几天获取当前日期是本年第几天python中常常需要各种的时
2020-10-24 14:19:49
552
原创 python从ftp下载文件并解压
python从ftp下载文件并解压下载ftp的文件解压文件日常数仓开发中可能需要从ftp服务器上获取文件到本地，比如压缩包文件(.zip|.tar|.tar.gz格式)、csv文件，txt文件等，获取到本地后将数据处理到数据库里。废话少说，上代码。下载ftp的文件from ftplib import FTPdef ftp_download(host=None, port=None, user=None, password=None, ftp_path=None, local_path=None)
2020-10-16 16:43:42
1360
原创 python如何把数据从数据库推送elasticsearch
python如何把数据从数据库推送elasticsearch引言从数据库读取数据获取elasticsearch连接并推送数据附上完整代码引言工作中常常需要将数据库的数据推送到es用作快速搜索查询，本篇是记录自己对于此需求的学习和python方法实现从数据库读取数据一些基本参数变量sql = 'select * from test.airport_message'es_host = '127.0.0.1'es_port = 9200es_index = 'test_airport_messag
2020-10-02 17:54:10
698
原创 python如何获取elasticsearch的数据到数据库
python如何获取elasticsearch的数据到数据库引言获取es连接查询数据数据入库引言工作中常常是将数据库的数据推送到es用作快速搜索查询，但是在某些特定情况下，可能需要将es上的数据获取下来，存储到数据库以备使用。本篇是记录自己对于此需求的学习和python方法实现。获取es连接先引用elasticsearch包from elasticsearch import Elasticsearch获取连接 es = Elasticsearch( hosts=['127.0
2020-10-02 11:51:45
1102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人