m0_61991044的博客

Redis的五种用途 简介 Redis是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 五种用途 1.全页面缓存 整页缓存。如果你正在使用服务器端呈现的内容，则

聚合 1）案例需求：hadoop102上的Flume-1监控文件/opt/module/group.log，hadoop103上的Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台。 2）需求分析 在这里插入图片描述 3）实现步骤： （1）准备工作 在hadoop102、hadoop103以及hadoop104的/opt/module/flume/job目录下创建一个group3文件夹。 1[qinjl@

Zookeeper的常用Shell命令 启动zookeeper服务后，在其中一台机器上执行客户端脚本可连接到zookeeper服务 [whzy@master zookeeper-3.4.12]$ bin/zkCli.sh -server slave:2181,slave2:2181 使用create命令在客户端shell下创建目录，并查看 [zk: slave:2181,slave2:2181(CONNECTED) 28] create -e /testZk “testZk” 使用set命令向/test

一、思路分析 用chrome打开豆瓣电影Top250页面， https://movie.douban.com/top250。如下图第一部电影，肖申克的救赎，电影名称、导演、主演、年份、评分、评价人数这些信息是我们需要的。我们用浏览器或者python向浏览器发送请求的时候，返回的是html代码，我们平时用浏览器浏览网页看到的这些图文并茂的规整的页面其实是html代码在经过浏览器渲染后的结果。所以我们需要找到要抓取信息在html代码中的位置。这就叫html解析，解析的工具有很多。比如：正则表达式、Beautif

爬虫是什么 爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。 为什么我们要使用爬虫 互联网大数据时代，给予我们的是生活的便利以及海量数据爆炸式的出现在网络中。 过去，我们通过书籍、报纸、电视、广播或许信息，这些信息数量有限，且是经过一定的筛选，信息相对而言比较有效，但是缺点则是信息面太过于狭窄了。不对称的信息传导，以致于我们视野受限，无法了解到更多的信息和知识。

MySQL 语句建表 一、数据准备： 1.student学生表数据： 2.teacher老师表数据： 3.course课程表数据： 4.score成绩表数据： 二、数据查询 1.查询平均成绩大于60分的同学的学生编号和学生姓名和平均成绩： 语句：select st.StuId,st.StuName as st_name,avg(sc.StuScore) from score as sc,student as st where st.StuId = sc.StuId group by st.StuId