- 博客(8)
- 收藏
- 关注
RSS订阅原创 2021-01-29
**buff/cache 内存占用 过大解决办法**echo 1 > /proc/sys/vm/drop_cachesecho 2 > /proc/sys/vm/drop_cachesecho 3 > /proc/sys/vm/drop_caches
2021-01-29 09:43:29
45
原创 2020-12-24
Attempting to operate on hdfs namenode as root参考以下老哥的：https://blog.csdn.net/lglglgl/article/details/80553828
2020-12-24 11:11:10
58
原创 2020-12-23
模块“DevicePowerOn”启动失败找着.vmx文件修改，将TRUE改为FALSEvmci0.present = “FALSE”
2020-12-23 19:14:53
60
转载 2020-12-23
CentOS7 Failed to start LSB: Bring up/down networking.解决方法参考：https://blog.csdn.net/chenyiming2010/article/details/83713391我是用的这个方法百度了一圈，都是叫修改mac地址的说法，但是改了之后并没有什么用，最后谷歌解决了。事实证明百度就是个水货！解决方式：禁用NetworkManagersystemctl stop NetworkManagersystemctl di
2020-12-23 17:03:14
70
原创 基于spark用户画像的实时项目【第一天】
互联网广告的行业介绍互联网广告得分类从广告形式上来看，互联网广告分为：搜索广告、展示类广告、分类广告、引导广告、电子邮件广告等五大类。互联网广告表现形式1）BannerBanner指横幅广告，一般在APP界面的顶部或者底部出现，有静态图、GIF图、文字链、多帧滚动动画图计费方式一般为CPC(每点击成本)结算为主2）公告在电商类或者社交类的APP首页，京东快报就是公告，不断滚动播放...
2020-03-10 22:22:30
630
原创 基于spark和kafka反爬虫技术【第三天】
10、lua相关知识10.1 lua和idea的整合1、 创建idea工程2、下载emmylua插件3、创建lua包并创建lua file运行过程中可能出现的错误，没有配置lua.exe解析器配置方式：run —>Edit configgurations10.2 lua数据类型与变量Lua中有8个基本类型分别为：nil、boolean、number、string、use...
2020-02-26 18:11:21
175
原创 基于spark和kafka反爬虫技术【第二天】
3.系统架构3.1 技术选型技术选型组件名称版本号描述表现层框架SpringMVC(Pivotal)4.0.7高效稳定，是使用Servlet和jsp技术的一种MVC实现，帮助开发者控制web项目中的变化并提高专业化水平，减少开发者在运用MVC设计模式开发web应用的时间逻辑层控制框架Spring（Pivotal）4.0.7提供事务管理、逻辑控制。框架的...
2020-02-25 21:59:01
1485
原创 基于spark和kafka反爬虫技术【第一天】
1.技术背景现在很多购票网站在互联网提供查询、预定等服务，有大量用户访问的同时，也存在着大量爬虫，爬虫消耗了系统资源，但是没有转化为销量，导致系统资源虚耗，严重时造成系统波动，影响正常用户访问购票。通过日志分析，发现官网访问中存在大量爬虫，且通过ip伪装。为了限制伪装奇数越来越强的爬虫访问和恶意占座行为，需要开发大数据爬虫工具。2. 项目概述2.1 系统功能数据管理：数据采集、分类、处理...
2020-02-25 09:02:48
424
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人