dixuwu3652-CSDN博客

转载 Hive安装配置

1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-se...

2019-09-20 20:38:00 115

转载 hadoop大数据组件启动

1.1.启动集群sbin/start-dfs.sh注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。1.2.启动NameNodesbin/hadoop-daemon.sh start namenode1.3.启动DataNodesbin/hadoop-daemon.sh start datan...

2019-08-30 16:39:00 143

转载 Java生成窗口

//字符串数组转变成int数组ints[i] = Integer.parseInt(str_string[i]);//设置窗口关闭Frame.addWindowListener(new WindowAdapter() { public void windowClosing(WindowEvent e) { System.exit(0); } });AWT包 compo...

2019-08-30 16:38:00 166

转载正则语法

//正则表达式1 字面值转义 \x 2 分组 [...] 3 范围 a-z 4 并集 [a-e][i-u] 5 交集 [a-z&&[aeiou]] \t 制表符 ('\u0009') \n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D') \f 换页符 ('\u000C') ...

2019-08-30 16:37:00 108

转载 python爬虫基础

链路层传输层网络层应用层IDE 集成开发环境1.属性前面添加下划线使对象属性私有化2. for循环迭代 iter() 生成迭代器减少空间占用3.python语法糖具有特殊功能的函数4.列表生成试 a = [x*2 for x in range(10)]5.类的动态创建是指当满足某一条件时所创建的类6.type class 创建类的关键字 class Test{} T...

2019-08-30 16:36:00 81

转载 js相关语法知识

alert(); 页面弹窗<input plactholder="请输入密码"/>(隐藏字体效果)js对数据类型不敏感，与Java相似1.js变量定义符：var2.js数据类型： number string bollean undefind 引用数据类型 typeod 查看数据类型3.js的函数有两种定义方式 ①普通函数语法： function 函数名称(){ js...

2019-08-30 16:35:00 161

转载 mysql安装与卸载

彻底卸载mysql一、chak 是否有安装mysqla) rpm -qa | grep -i mysql // 查看命令1b) yum list install mysql* // 查看命令2二、卸载mysql安装包a) yum remove mysql mysql-server mysql-libs compat-mysql51b)...

2019-08-30 16:28:00 64

转载 spark集群运行模式

spark的集中运行模式Local 、Standalone、Yarn关闭防火墙：systemctl stop firewalld.service重启网络服务：systemctl restart network.service设置静态IP设置/etc/hosts192.168.232.133 cent-1192.168.232.134 cent-2...

2019-08-30 16:24:00 105

转载 flink集群模式安装配置

一、手动下载安装包wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz二、解压tar -zxvfflink-1.6.1-bin-hadoop27-scala_2.11.tgz节点名称master...

2019-08-30 16:04:00 255

转载 kafka集群安装

1.准备三台机器，手动下载kafka安装包 2.解压移动 3.配置jdk+环境变量 4.配置Kafkakafka/config/server.propertiesbroker.id=XXX 唯一log.dir=指定目录zookeeper.connet=ip:2181,...5.分发文件scp -r kafka root@ip1:/....1scp ...

2019-08-30 15:44:00 72

转载 Hbase集群模式搭建

1.官网下载hbase安装包这里不做赘述。2.解压---直接tar -zxvf xxxx3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8 //告诉...

2019-08-30 15:41:00 203

转载 sqoop安装配置

sqoop安装：安装在一台节点上就可以了。1.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里2.使用　　第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 1...

2019-08-30 15:38:00 115

转载 zookeeper集群模式安装

一、解压tar -zxvf xxxxxxxxxxxxx二、配置(先在一台节点上配置)1.进入conf文件配置目录　　cpzoo_sample.cfg zoo.cfg2.修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data server.5=itcast05:2888:3888 server.6=itcast...

2019-08-30 15:34:00 146

转载 hive集群模式安装

hadoop3.2.0 完全分布式安装 hive-3.1.1#解压缩tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/local/#修改目录名称mv /usr/local/apache-hive-3.1.1-bin/ /usr/local/apache-hive-3.1.1vim /etc/profile...

2019-08-30 15:17:00 344

转载 Hadoop集群模式安装出现的若干问题

一、域名解析问题域名解析暂时失败问题　　vim /etc/sysconfig/network 　　查看主机名　　vim etc/hosts 配置IP地址与主机名 192.168.60.132 centos　　#改正就OK啦二、启动问题Starting namenodes on [localhost]ERROR: Attempting to opera...

2019-08-30 15:13:00 426

转载 Hadoop集群安装配置

一、准备工作1.首先准备好七台虚拟机，并确保都已经安装配置好jdk。2.Hadoop3.2.0+jdk1.8自行到官网下载3.修改好相称的主机名，并在hosts文件中相互添加。　　######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）　　/etc/hosts里面要配置的是内网IP地址和主机名的映射关系。4.修改好相称的I...

2019-08-30 14:26:00 192

转载 centosl7简洁版配置

生产环境安装了精简版的centos7需要进行相关配置，添加相关组件才能更好的使用！由于不同的安装方式欠缺的组件不尽相同，本例尽可能满足一般的生产环境的需要！！！一、安装ifconfig服务在没有ifconfig命令的情况下，可使用ip addr命令查看网络配置信息。首先要进入网卡配置进行修改，使机器可以上网，cd /etc/sysconfig/network-sc...

2019-08-30 14:03:00 109

转载 python之scrapy篇(三)

一、创建工程(cmd)scrapy startproject xxxx二、编写item文件# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/en/latest/to...

2019-08-15 19:00:00 91

转载 python之scrapy篇(二)

一、创建工程scarpy startproject xxx二、编写iteam文件# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/en/latest/topics/...

2019-08-15 18:54:00 74

转载 python之scrapy篇(一)

一、首先创建工程(cmd中进行)scrapy startproject xxx二、编写Item文件添加要字段# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/e...

2019-08-15 18:42:00 251

dixuwu3652的博客