- 博客(20)
- 收藏
- 关注
RSS订阅转载 Hive安装配置
1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-se...
2019-09-20 20:38:00
108
转载 hadoop大数据组件启动
1.1.启动集群 sbin/start-dfs.sh注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。 1.2.启动NameNode sbin/hadoop-daemon.sh start namenode1.3.启动DataNode sbin/hadoop-daemon.sh start datan...
2019-08-30 16:39:00
138
转载 Java生成窗口
//字符串数组转变成int数组ints[i] = Integer.parseInt(str_string[i]);//设置窗口关闭Frame.addWindowListener(new WindowAdapter() { public void windowClosing(WindowEvent e) { System.exit(0); } }); AWT包 compo...
2019-08-30 16:38:00
160
转载 正则语法
//正则表达式1 字面值转义 \x 2 分组 [...] 3 范围 a-z 4 并集 [a-e][i-u] 5 交集 [a-z&&[aeiou]] \t 制表符 ('\u0009') \n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D') \f 换页符 ('\u000C') ...
2019-08-30 16:37:00
104
转载 python爬虫基础
链路层 传输层 网络层 应用层 IDE 集成开发环境1.属性前面添加下划线 使对象属性私有化2. for循环迭代 iter() 生成迭代器 减少空间占用3.python语法糖 具有特殊功能的函数4.列表生成试 a = [x*2 for x in range(10)]5.类的动态创建 是指当满足某一条件时所创建的类6.type class 创建类的关键字 class Test{} T...
2019-08-30 16:36:00
78
转载 js相关语法知识
alert(); 页面弹窗 <input plactholder="请输入密码"/>(隐藏字体效果)js对数据类型不敏感，与Java相似1.js变量定义符：var2.js数据类型： number string bollean undefind 引用数据类型 typeod 查看数据类型3.js的函数有两种定义方式 ①普通函数语法： function 函数名称(){ js...
2019-08-30 16:35:00
157
转载 mysql安装与卸载
彻底卸载mysql 一、chak 是否有安装mysql a) rpm -qa | grep -i mysql // 查看命令1 b) yum list install mysql* // 查看命令2 二、卸载mysql安装包 a) yum remove mysql mysql-server mysql-libs compat-mysql51 b)...
2019-08-30 16:28:00
60
转载 spark集群运行模式
spark的集中运行模式 Local 、Standalone、Yarn 关闭防火墙：systemctl stop firewalld.service 重启网络服务：systemctl restart network.service 设置静态IP 设置/etc/hosts 192.168.232.133 cent-1 192.168.232.134 cent-2 ...
2019-08-30 16:24:00
101
转载 flink集群模式安装配置
一、手动下载安装包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz 二、解压 tar -zxvfflink-1.6.1-bin-hadoop27-scala_2.11.tgz 节点名称 master...
2019-08-30 16:04:00
249
转载 kafka集群安装
1.准备三台机器，手动下载kafka安装包 2.解压移动 3.配置jdk+环境变量 4.配置Kafka kafka/config/server.properties broker.id=XXX 唯一 log.dir=指定目录 zookeeper.connet=ip:2181,... 5.分发文件 scp -r kafka root@ip1:/....1 scp ...
2019-08-30 15:44:00
69
转载 Hbase集群模式搭建
1.官网下载hbase安装包 这里不做赘述。 2.解压---直接tar -zxvf xxxx 3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8 //告诉...
2019-08-30 15:41:00
195
转载 sqoop安装配置
sqoop安装：安装在一台节点上就可以了。 1.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 2.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 1...
2019-08-30 15:38:00
111
转载 zookeeper集群模式安装
一、解压 tar -zxvf xxxxxxxxxxxxx 二、配置(先在一台节点上配置) 1.进入conf文件配置目录 cpzoo_sample.cfg zoo.cfg 2.修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data server.5=itcast05:2888:3888 server.6=itcast...
2019-08-30 15:34:00
141
转载 hive集群模式安装
hadoop3.2.0 完全分布式安装 hive-3.1.1 #解压缩tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/local/#修改目录名称mv /usr/local/apache-hive-3.1.1-bin/ /usr/local/apache-hive-3.1.1vim /etc/profile ...
2019-08-30 15:17:00
338
转载 Hadoop集群模式安装出现的若干问题
一、域名解析问题 域名解析暂时失败问题 vim /etc/sysconfig/network 查看主机名 vim etc/hosts 配置IP地址与主机名 192.168.60.132 centos #改正就OK啦 二、启动问题 Starting namenodes on [localhost] ERROR: Attempting to opera...
2019-08-30 15:13:00
414
转载 Hadoop集群安装配置
一、准备工作 1.首先准备好七台虚拟机，并确保都已经安装配置好jdk。 2.Hadoop3.2.0+jdk1.8自行到官网下载 3.修改好相称的主机名，并在hosts文件中相互添加。 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系。 4.修改好相称的I...
2019-08-30 14:26:00
185
转载 centosl7简洁版配置
生产环境安装了精简版的centos7需要进行相关配置，添加相关组件才能更好的使用！ 由于不同的安装方式欠缺的组件不尽相同，本例尽可能满足一般的生产环境的需要！！！ 一、安装ifconfig服务 在没有ifconfig命令的情况下，可使用ip addr命令查看网络配置信息。 首先要进入网卡配置进行修改，使机器可以上网， cd /etc/sysconfig/network-sc...
2019-08-30 14:03:00
102
转载 python之scrapy篇(三)
一、创建工程(cmd) scrapy startproject xxxx 二、编写item文件 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/latest/to...
2019-08-15 19:00:00
88
转载 python之scrapy篇(二)
一、创建工程 scarpy startproject xxx 二、编写iteam文件 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/latest/topics/...
2019-08-15 18:54:00
69
转载 python之scrapy篇(一)
一、首先创建工程(cmd中进行) scrapy startproject xxx 二、编写Item文件 添加要字段 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/e...
2019-08-15 18:42:00
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人