- 博客(11)
- 收藏
- 关注
原创 Centos7 利用firewalld修改docker端口权限
可能是我的所有博客里最简短的一篇了……纯属记录下,如果有遇到同样问题的朋友请看:我的服务器上用docker运行的elasticsearch,开放了9200端口,但我不想让我的9200端口暴露在公网上,因此我用iptables加了两条规则试图drop外网对9200端口的请求:iptables -I INPUT -p tcp --dport 9200 -j DROPiptables -I INP...
2019-11-22 11:17:05
1775
2
原创 微信公众号文章保存到本地
网页版微信公众号的文章url是临时链接,如果你想过段时间再查看该篇文章就会发现链接过期,因此在爬取到文章后非常有必要把网页保存下来。保存网页的时候,我们希望把图片、js、css等文件同时保存,使得html文件打开后与原网页一模一样。但是我在保存微信公众号文章的时候发现,即使我已经成功下载了图片,但图片总是无法加载。仔细研究之后我发现是一个参数导致的:crossorigin="anonymou...
2019-11-13 10:28:02
1658
原创 OrientDB在Python中的使用
写在前面:OrientDB是一款功能很强大的数据库,兼具了图数据库与键值对数据库的特点,非常适合用于知识图谱的构建。我们部门的新项目要求用OrientDB代替mongodb和neo4j,从而只用一款数据库完成数据存储与绘图的两部分功能。但是!OrientDB的python连接教程真的就是一坨shit。。。讲的及其不清楚而且还错误一大堆,网上没有什么这方面的教程,因此我就在这篇中讲一下我所遇到的...
2019-07-01 17:03:21
1588
原创 socket学习之TCP协议过程(一)
前段时间学习了socket编程,把现有的分析系统分成了服务器端与客户端两部分。但基本使用的还是简单的socket的编程,对于内里还不够了解,只能说会用了而已。使用过程中我发现了一个问题,一直想不通原因,也借此机会仔细学一下socket原理,希望学到最后可以解决我的困惑吧。先把问题阐述一下:代码为廖雪峰老师的教程中的代码,服务器端:server.pyimport sockets = sock...
2019-04-26 17:44:08
291
原创 如何完成企业舆情监测——话题检测与跟踪
近期公司新提了需求,希望利用已有的舆情检测系统对公司的负面新闻进行监测。目前的舆情系统能完成基本的信息抓取、信息分析与统计,但当前舆情系统为事件级监测,针对已出现的某一事件进行舆情分析,尚不能准确处理企业级的舆情。目前所考虑的基本流程为:事件收集话题检测(TDT)事件追踪事件收集确定爬取网站:考虑包括微博、头条、知乎等主流新闻网站以及百度、谷歌、必应等主流搜索引擎。网页过滤与清...
2019-04-09 16:31:24
2981
4
转载 数据库知识点整理
分类查询优化性能优化索引事务面经1、分类关系型数据库1)mysql 2)sqlserver非关系型数据库1)键值对数据库:redis、memcache 2)列存储数据库:hbase 3)文档型数据库:mongdb 4)图形数据库:graph2、查询优化逻辑层查询优化1.尽可能的早做选择和投影(基本思路):可以使中间结...
2018-09-10 10:38:28
130
原创 知识点整理总结
TCP/IP部分:协议森林 linux相关:linux系统linux命令 数据结构:排序算法红黑树 各种面经:C++岗笔试经验(转)
2018-08-21 10:47:34
154
原创 信息去重——降低爬虫分析数据误报率
最近在做的项目提出了个需求,仅以此文记录。项目背景:对售假人员进行搜索,爬取其所在公司,关联人员(如上级等),并关联相关售假公司,爬取相应信息。举例:给出的售假人员张三,他所在的公司有位合伙人李四,李四同时还经营多家公司,爬取张三的基本信息,再根据所爬取到的张三所在公司,爬取关联人员——李四。由李四出发,爬取李四相关的公司。需求:网页爬取到相关联公司误报率较高,需降低误报率。目前所使用确...
2018-08-16 17:10:55
641
转载 TCP/IP详解
TCP/IP详解学习笔记 这位仁兄写得太好了 TCP/IP详解学习笔记 这位仁兄写得太好了.http://blog.csdn.net/goodboy1881/category/204448.aspxTCP/IP详解学习笔记(...
2018-08-15 16:07:01
167
原创 2019秋招面经记录帖
2019秋招面经-主互联网篇阿里巴巴C++研发岗电话面挂经西门子-实习面经网易笔试题1、阿里巴巴C++研发岗阿里真的是突如其来的电话面试啊,还没咋准备就开始了…… 先挖个坑,有空补一下。STL了解多少,具体实现方式 准备不充分,只答出了vector、string,问到vector实现方式就有点蒙了虚函数多态与继承哪种排序算法性能最好,具体实现方法2、西门子-实习面...
2018-08-15 11:33:43
442
转载 Socket介绍
“一切皆Socket!”话虽些许夸张,但是事实也是,现在的网络编程几乎都是用的socket。——有感于实际编程和开源项目研究。我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览器浏览网页时,浏览器的进程怎么与web服务器通信的?当你用QQ聊天时,QQ进程怎么与服务器或你好...
2018-08-15 11:12:46
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人