- 博客(14)
- 收藏
- 关注
RSS订阅原创 centos7 安装mysql5.7
centos7 安装mysql5.7Mysql5.7repo源Mysql(这里选择的是Mysql5.7)repo源，后通过centos自带的yum安装下载的地址为https://dev.mysql.com/downloads/repo/yum/选择mysql57-community-release-el7-11.noarch.rpm安装用来配置mysql的yum源的rpm包r...
2019-11-07 11:04:33
533
原创 XPATH语法
XML 实例文档我们将在下面的例子中使用这个 XML 文档。<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><book> <title lang="eng">Harry Potter</title> <price>29.99</price&g...
2019-09-15 15:32:55
229
原创 scrapy实战(一)--知乎问答
房价爬取使用scrapy mysql爬取网页 https://jingzhou.esf.fang.com/ 房屋数据创建项目创建项目虚拟环境mkvirtualenv fang --python=python3安装scrapypip install -i https://pypi.douban.com/simple/ scrapy由于此下载依赖包很多，如出现某个包下载...
2019-09-15 14:35:04
874
原创 MapReduce编程详解
编写MapReduce程序编写wordcount程序场景：有大量文件，里面存储了单词，且一个单词占一行任务：如何统计每个单词出现的次数类似应用场景：搜索引擎中，统计最流行的K个搜索词统计搜索词频率，帮助优化搜索词提示编辑pom.xml，添加jar包maven添加jar包可查询：https://mvnrepository.com/<!-- 添加仓库 -->&l...
2019-09-04 13:34:57
354
原创 HDFS API编程(二)
HDFS 常用API /** * 查看HDFS内容 */ @Test public void text()throws Exception { FSDataInputStream in = fileSystem.open(new Path("/cdh_version.properties")); IOUtils.copy...
2019-09-02 20:43:16
394
原创 hadoop命令操作详解
整体的hdfs命令行操作，类似于shell命令hadoop命令操作详解hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] # 添加本地文件到HDFS [-cat [-ignoreCrc] <src> ...] # 查看内容 [-chgrp [-R] GROUP ...
2019-09-02 20:41:29
402
原创 hadoop配置常见问题汇总
jps显示正确，但是浏览器http://hadoop:50070却打不开防火墙问题查看防火墙是否打开sudo firewall-cmd --state显示running关闭防火墙sudo systemctl stop firewalld.service检查是否关闭sudo firewall-cmd --state显示not running重新用浏览...
2019-09-02 20:34:49
402
原创 HDFS API编程(一)
使用HDFS API操作HDFS文件系统Intellij IDEA使用maven 管理项目创建项目点击Finish出现如下界面需等待右下角蓝条加载完成(下载时间较长，需耐心等待蓝条加载完成)...
2019-09-02 20:25:05
1720
原创 hadoop配置与应用(二)
实践6 – HBase Shell基本命令HBase搭建和配置下载并解压需先配置好zookeeper配置系统环境变量vi /etc/profile增加export HBASE_HOME=/path/of/your/hbase-1.2.0-cdh5.7.0export PATH=$HBASE_HOME/bin:$PATH配置HBasecd $HBASE_HOME/c...
2019-09-02 16:27:23
257
原创 hadoop配置与应用(一)
hadoop配置与应用实践1 – 单机配置hadoop单主机伪分布 —— 用于实验和开发环境环境要求单台主机 192.168.56.10操作系统 Centos7.2最小安装hadoop hadoop-2.6.0-cdh5.7.0环境准备主机名hostnamectl set-hostname master2. 配置hostsvi /etc/hosts添加192...
2019-09-01 23:38:37
2827
原创 数据采集和清洗(二)
实践6 – Scrapy安装和配置在Linux中安装Scrapy激活Python虚拟环境安装Twistedwget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2tar -jxvf Twisted-17.1.0.tar.bz2cd Twisted-17.1.0python3 setu...
2019-09-01 22:50:09
713
原创 数据采集和清洗(一)
实践1 – 搭建Python开发环境在Linux中安装配置Python3（多版本）在centos下编译安装python3前，建议先将yum源更改为国内的yum源安装编译所需的工具yum install -y gcc zlib zlib-devel libffi-devel openssl openssl-devel下载并编译安装Python3wget https://www...
2019-09-01 22:33:41
4930
原创 机器学习实战第一课之k近邻算法 KNN
KNN优点：精度高、对异常值不敏感，无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。算法思想：对未知类别属性的数据集中的每个点一次执行以下操作：1.计算已知类别数据集中的点和当前点之间的距离2.按照距离递增排序3.选取与当前点距离最小的k个点4.确定前k个点所在类别的出现频率5.返回前k个点出现频率最高的类别作
2017-02-25 15:25:24
357
原创 MAC下MYSQL5.7.17无法连接的问题
下载安装完SQLBench_community 6.3.9后新建MYSQL CONNECTIONS根本连接不上，提示为密码错误具体表现为：Access denied for user 'root'@'localhost' (using password: YES)Step1: 苹果->系统偏好设置->最下边点MySQL 在弹出页面中 关闭mysql服务
2017-02-25 09:30:42
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人