后端头条项目
LuckyAsYou
后端研发
展开
-
头条--day14_数据迁移
数据迁移目标能够描述项目数据迁移的方案了解hbase的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1 为什么需要自动同步因为我们Mysql保存着我们爬取的以及自建的数据,对于爬取的数据,数据量比较大,使用mysql 存储会影响mysql的性能,并且我们需要对数据进行流式计算,对数据进行各种统计,mysq满足不了我们的需求,我们...原创 2020-04-30 22:31:08 · 593 阅读 · 4 评论 -
头条--黑马头条_ 热点文章处理day12
热点文章处理目标能够清晰计算热文章数据的流程能够编写定时定时计算热文章的功能能够编写实时计算文章行为数据了解kafkastream的应用1 热文章处理-功能需求为了能够更好的把文章提供给用户,推出热文章计算功能,从两个维度计算热文章数据:一是从数据库定时任务计算,二是从流实时接收按照时间窗口计算。计算结果存储到DB,供用户查询。数据库计算定时任务流时间窗口计算用...原创 2020-04-30 22:23:10 · 915 阅读 · 0 评论 -
头条--day13_项目优化黑马头条
项目优化目标能够完成图片微服务开发及应用改造app文章查询列表,主推热点文章数据能够掌握联想词优化改造的思路及trie树算法的应用能够改造登录接口,进行秘密验证1 图片缓存开发1.1 功能需求随着热文章的访问越来越频繁,文章内的图片频繁的访问图片服务器,对图片服务器造成了很大的压力,因此决定把热文章相关的图片缓存到redis:监听热文章主消息缓存图片功能本案例开发功能包...原创 2020-04-30 22:27:10 · 976 阅读 · 1 评论 -
头条--day11_自动更新ip&定时抓取&自动审核文章
自动更新ip&定时抓取&自动审核文章目标能够实现逆向爬取文章能够动态设置ip代理池的更新能够完成定时爬取文章能够完成爬虫文章的自动审核1 爬虫系统完善1.1 增加代理下载配置CrawlerConfigcom.heima.crawler.config.CrawlerConfig @Autowired private CrawlerIpPoolS...原创 2020-04-19 21:45:10 · 720 阅读 · 0 评论 -
头条--黑马头条-day10
day10_数据保存&排重&文档解析1 数据保存准备1.1 ip代理池1.1.1 需求分析针对于ip代理池的管理,包括了增删改查,设置可用ip和不可用ip1.1.2 实体类ClIpPool类com.heima.model.crawler.pojos.ClIpPool@Datapublic class ClIpPool { private Inte...原创 2020-04-19 21:43:55 · 859 阅读 · 1 评论 -
头条--黑马头条_day09
day09_爬虫文档解析整合&数据保存准备目标能够完成爬虫初始化url的解析代码能够完成个人空间页的解析能够完成文章目标页的解析能够进行整合测试能够编写频道的保存及查询1 文档解析1.1解析规则工具类ParseRuleUtilscom.heima.crawler.utils.ParseRuleUtilspublic class ParseRuleUtils {...原创 2020-04-19 21:43:04 · 453 阅读 · 0 评论 -
头条--黑马头条_day08
day08_爬虫系统搭建目标了解爬虫是什么了解webmagic及其四大组件了解爬虫系统中的ip代理能够导入爬虫系统知道文档下载和文档解析的思路1爬虫是什么网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来...原创 2020-04-19 21:42:33 · 1558 阅读 · 0 评论 -
头条--day07_kafka实战应用&文章自动审核
kafka实战应用&文章自动审核今日目标熟悉kafka的封装技巧熟悉阿里审核图片和文本内容审核完成自媒体文章审核代码完成自媒体端发布文章发送消息完成admin端接收消息并自动审核1 kafka封装1.1 功能需求消息对于现代软件项目来说,占有很重要的地位;同时市场上也发展处ActiveMq、RabbitMQ、Kafka、RocketMQ、Pulsar等众多优秀的框架;这些...原创 2020-04-19 21:41:53 · 1104 阅读 · 0 评论 -
头条--day06_admin端功能开发&通用后端封装
admin端功能开发&通用后端封装今日目标目标一:能够完成admin端的登录功能目标二:能够清晰通用后端的好处目标三:能够完成通用后端的代码开发目标四:熟悉前端的开发流程1 admin端的登录功能实现1.1 admin项目搭建在父工程下创建模块heima-leadnews-admin(1)拷贝多环境配置文件: maven_dev.properties maven_...原创 2020-04-19 21:41:23 · 634 阅读 · 0 评论 -
头条-day05_文章发布&粉丝管理成形记
文章发布&粉丝管理熟悉FastDfs的封装集成熟悉自媒体系统的核心功能需求掌握VUE+Echarts的集成使用掌握后台功能的通用封装技巧熟悉跨平台富文本的处理方案1 需求分析1.1 功能需求在自媒体后台中主要包含的功能有内容管理:素材管理、文章发布、内容列表的查看、评论列表查看、图文数据统计;粉丝管理:粉丝概况、粉丝画像、粉丝列表本案例开发功能包括:根据不同时间...原创 2020-04-19 21:40:42 · 1662 阅读 · 0 评论 -
头条-day04_文章搜索前后端成形记 & 实名认证审核
文章搜索前后端成形记 & admin实名认证审核掌握app登录模块的开发熟悉文章详情前台代码流程掌握ES的封装集成熟练ES的API使用熟悉admin管理平台前后端开发掌握JWT技术以及实战应用技巧熟悉VUE+ELEMENT UI的实战开发1 文章详情-前端开发1.1登录接口参考其他微服务,创建heima-leadnews-login搭建环境1.1.1 基本定义通...原创 2020-04-19 21:40:02 · 1304 阅读 · 0 评论 -
头条--day03_文章详情前后端成形记
文章详情前后端成形记熟悉Zookeeper的封装集成熟悉分布式自增主键的封装熟悉页面场景行为的收集掌握文章详情页面的需求和实现流程掌握mockMvc接口测试的使用场景和方法1 分布式主键封装在项目中支持分组扩展的数据表的ID需要在分片之前分配好数据主键ID的值,此功能在Mycat、Redis、ZK中都可以轻松实现,考虑中间件负载均匀和演示ZK实战应用的目的,项目中使用ZK来生成分...原创 2020-04-19 21:39:22 · 1009 阅读 · 0 评论 -
头条项目-day02_文章列表前端成形与后端变身
文章列表前端成形与后端变身学习目标熟悉项目前端工程结构熟悉Weex的在移动端的好处熟悉移动端列表页面的结构与开发过程熟悉生产与测试环境的数据库差异熟悉Mycat技术的开发与实战技巧掌握分库分表的设计技巧掌握Mycat自定义分表算法开发1.前端工程结构前端工程基于VUE技术,分为3个独立的项目:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BiF...原创 2020-04-19 21:38:19 · 1030 阅读 · 0 评论 -
头条项目---01项目介绍和工程搭建
第一章 项目介绍和工程搭建学习目标熟悉移动端应用系统的架构设计熟悉大型软件系统设计中的各种图形结构熟悉数据库分库分表设计技巧熟悉Spring boot2.0+JavaConfig项目封装配置方式完成文章列表的后台开发1. 项目介绍1.1项目背景随着智能手机的普及,人们更加习惯于通过手机来看新闻。由于生活节奏的加快,很多人只能利用碎片时间来获取信息,因此,对于移动资讯客户端的...原创 2020-04-18 18:26:55 · 7026 阅读 · 2 评论