沒-CSDN博客

原创 mysql最后一行增加合计 - mysql查询语句

方法一：SELECT coalesce(字段1,'总计'), COUNT(统计字段)FROM '表名' GROUP BY 字段1WITH ROLLUP方法二：SELECT CASE WHEN 字段1 IS NOT NULL THEN 字段1 ELSE '合计' end 字段1, COUNT(统计字段) FROM `表名` GROUP BY 字段1WITH ROLLUP...

2020-09-11 17:57:22 5174

1：安装vsftpdyum install vsftpd -y2:启动vsftpdservice vsftpd start加入开机启动chkconfig vsftpd on启动后可以看到系统监听21端口netstat -nltp | grep 213：vsftpd的文件说明vsftpd.conf: 主要配置文件ftpusers:配置禁止访问ftp服务器的用户列表user_list:配置用户访问控制4:配置阻止匿名用户访问和切换根目录vi /etc/vsftpd/vsftp.conf

2020-06-11 11:52:49 254

原创 HADOOP理解：HDFS、YARN、MapReduce、Flume

HADOOP一、简介1．HDFS：解决海量数据的存储2．YARN：资源调度系统（编程模型MAPR、Spark、Storm、MPI）3．MapReduce：分布式数据计算4．Flume：数据采集工具二、Hadoop安装：准备linux环境：修改主机名、修改IP地址、修改主机名和IP地址的映射关系、关闭防火墙并设置防火墙开机不启动安装JDK、配置JAVA环境变量、配置ssh免密登录（...

2019-06-19 22:46:10 320

转载 HDFS和MapRuduce

HDFS和MapRuduceHadoop核心项目HDFS：Hadoop Distributed File System分布式文件系统,用来管理文件的。在HDFS上存储的数据是分散很多服务器之上的，但是用户感觉不到文件真的分布在很多台机器上，就像一台机器上似的。MapRuduce：分布式并行计算框架，实现的是分布式计算，大数据分布在很多台服务器上，需要它去并行地执行Map：在每个分散的机器上...

2019-06-19 22:39:37 225

转载 Hadoop的理解

Hadoop理解hadoop在2.0后将资源管理从MapReduce中独立出来变成了Yarn之后，就演变成了四层架构：底层 —— 存储层，文件系统HDFS中间层 —— 资源及数据管理层，YARN以及Sentry等上层 —— MapReduce、Impala、Spark等计算引擎顶层 —— 基于MapReduce、Spark等计算引擎的高级封装及工具，如Hive、...

2019-06-19 20:53:13 208

原创 Flask+echarts:柱折饼、词云、雷达图

Selenium的使用：模拟登陆爬取知乎页面搜索功能搜索关键字抓取知乎问题页面及知乎专栏文章文件目录Web后端--FlaskWeb前端--Echarts1、柱状图--bar2、折线图--linee饼图--bar词云图--wordCloud雷达图--radar文件目录Web后端–Flaskapp.pyfrom flask import Flaskfrom flask import ren...

2019-06-08 20:36:07 3031 1

原创 Scrapy搜狗微信：使用cookies登录并使用打码平台自动输入验证码

Scrapy搜狗微信：使用cookies登录并使用打码平台自动输入验证码爬虫思路知识点前期准备正文爬虫思路通过搜狗微信的搜索功能实现输入关键字搜索并实现自动化翻页爬取100页搜索内容（搜狗搜索内容最多显示100页即1000条信息），保存的数据如下：title 文章标题weixin_name 发布人名称Time 发布问题的时间content 内容简介url 文章链接知识点Sele...

2019-04-21 15:02:42 1942 2

原创 Selenium的使用：模拟登陆爬取知乎

Selenium的使用：模拟登陆的方法使用知乎页面搜索功能搜索关键字抓取知乎问题页面及知乎专栏文章爬虫思路知识点前期准备正文小结爬虫思路通过知乎的搜索功能实现输入关键字搜索并将得到页面的所有数据进行存储，保存的数据如下：Problem 问题ProblemUrl 问题的链接ProblemTime 发布问题的时间Author 提问人AuthorUrl 提问人的个人主页链接知识点Se...

2019-04-13 01:21:44 1899 1

weixin_43836098的博客