- 博客(221)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 pandas数据加载(csv、excel、json、mysql、webAPI)
pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。数据的输入是数据分析的第一步，如果不能将数据快速方便的导入导出python，那么pandas不可能成为强大而.
2022-01-22 17:20:45
2251
原创 Python实现读取Word表格计算汇总写入Excel
Python实现读取Word表格计算汇总写入Excel快过年了，又到了公司年底评级的时候了。今年的评级和往常一下，每个人都要填写公司的民主评议表，给各个同事进行评价打分，然后部门收集起来根据收集上来的评价表进行汇总统计。想想要收集几十号人的评价表，并根据每个人的评价表又要填到Excel中进行汇总计算统计给出每个人的评价，就头大。虽然不是个什么难事，但是是个无脑的细致活。几十个人的评价也得要花大半天的时间来弄，而且搞多了还容易搞错。如是就想起干脆用Python写个小程序自动来处理这些脏活累活，评级年年都要评
2022-01-20 20:58:57
2837
原创 网络安全之恶意代码
恶意代码是一种有害的计算机代码或 web 脚本，其设计目的是创建系统漏洞，并借以造成后门、安全隐患、信息和数据盗窃、以及其他对文件和计算机系统的潜在破坏。恶意代码不仅使企业和用户蒙受了巨大的经济损失，而且使国家的安全面临着严重威胁。1991年的海湾战争是美国第一次公开在实战中使用恶意代码攻击技术取得重大军事利益，从此恶意代码攻击成为信息战、网络战最重要的入侵手段之一。恶意代码问题无论从政治上、经济上、还是军事上，都成为信息安全面临的首要问题。让我们一起来认识一下恶意代码。一、什么是恶意代码恶意代码（Un
2022-01-17 22:20:57
22417
1
原创 网络安全之暴露面、攻击面、脆弱性
暴露面暴露在攻击者视线范围内，可以被利用进行入侵的系统、设备、信息等，都属于暴露面。虽然大多数企业都认识到暴露面的风险所在，并想方设法来减少暴露面；但不幸的是，并非所有暴露面都是显而易见的，大量的暴露面都潜藏在不容易被发现的暗处，很容易因为资产排查不彻底、人员疏漏等问题被忽略。互联网暴露面资产直接面向外部攻击者的威胁。相对于企业内部资产，所面临的安全风险更高。攻击面攻击面：是一个给定的计算机或网络系统，可以被黑客访问和利用的漏洞总和。攻击面包含：操作系统、中间件、应用程序、承载网络中存在的软件漏洞
2022-01-10 10:45:59
12848
原创 机器学习实现恶意URL检测实战一
恶意URL检测的方法很多，这里介绍通过机器学习分析URL文本分词词频来检测恶意URL。训练的数据集为开源数据集，通过机器学习训练检测模型，然后做了部分工程化的应用，将模型持久化，在应用的时候加载进来直接应用，不用重新进行训练。通过接口调用实现恶意URL检测预测判断。恶意URL检测，对应与机器学习是个分类问题，这里分别用逻辑回归和SVM支持向量机分类模型进行模型实现。具体实现过程包括数据载入–>数据处理（分词、向量化处理）–>模型训练–>模型保存–>模型应用项目组织结构如下：
2021-12-09 08:51:56
11731
24
原创 修改成清华镜像源解决Anaconda报The channel is not accessible源通道不可用问题
最近在通过pycharm开发python程序，引用anaconda环境建立虚拟环境时报错，报UnavailableInvalidChannel: The channel is not accessible or is invalid.应该是镜像源访问通道无法访问或无效。现将解决办法记录如下：环境说明：操作系统：win10安装有anaconda 4.10.3pycharm2021.2报错现象：在pycharm中新建python项目，引用anaconda建立虚拟环境时报错报“Unavailable
2021-11-26 15:36:07
23141
19
原创 Python快速实现一个域名、IP信息聚合网站
域名和IP地址信息是非常基础的情报信息，目前网上有很多网站都提供了域名信息的查询、IP地址及归属地的查询。本文通过Python Flask实现域名及IP情报信息的聚合网站。因为域名和IP地址信息会有变化，为了减少接口压力，做了本地数据库的存储，新鲜度保存一周，每次查询先从本地数据库获取信息，如果本地库信息有并且没有超过一个星期就从本地库取，没有就从其他网站获取，并更新到本地库。一、获取域名WHOIS信息网上提供域名WHOIS信息查询的网站有很多，这里以http://whois.chinafu.com
2021-11-21 14:12:01
6407
原创 你有了一个目标，于是你有了一堆技能，而不是反过来。
你有了一个目标，于是你有了一堆技能。而不是反过来！这应该是这段时间我领悟最深刻的一句话，是从白帽汇-赵武的微信文章中看到的。我的体会是，没有一个清晰的为之努力奋斗的目标而去学东西，很难获得效果。老实说，我并不是个懒惰的人，知道要不断的去学习、看书，来努力提升自己，但是几年下来自己的个人成长确是非常的有限，原因就是目标不明确。尤其是随着年龄的增大，面对越来越大的压力，越来越焦虑。焦虑是因为面对残酷的社会竞争压力以及对自身能力的不自信。所以很多东西都想学，机器学习、网络安全、英语、写作等等。没有明确的目.
2021-11-17 09:10:52
433
原创 CentOS7下配置Supervisor自启动的两种方法
很多网友留言问如何配置Supervisor 自启动，现将如何在CentOS7下配置Supervisor自启动的两种方法整理如下：一、方法一直接将启动命令加入到/etc/rc.d/rc.local中（简单但不推荐）vi /etc/rc.d/rc.local在现有的内容后面加入supervisor的启动命令supervisord -c /etc/supervisord.conf注意：一定要执行 chmod +x /etc/rc.d/rc.localchmod +x /etc/rc.d/rc.
2021-11-11 11:30:24
2252
原创 Python通过GeoIP获取IP信息（国家、城市、经纬度等）
IP地址信息是非常重要的情报信息，通过IP可以定位到该IP所在的国家、城市、经纬度等。获取IP信息的方式有很多，很多服务商都提供了相应的地址库或API接口服务。如国内的ipip.net，国外的ip-api.com、maxmind.com等。很多公司都是使用Maxmind网站的IP信息库，里面包含着IP的详细信息，有付费的也有免费的，收费与免费的区别就是精准度和覆盖率。本文介绍下载及定时更新Maxmind的离线库用python通过GeoIP来获取IP信息一、下载GeoLite2离线地址库1、注册及
2021-11-10 10:13:00
4138
1
原创 CentOS7下python3+Flask+uWSGI+Nginx+Supervisor环境搭建
在生产环境中通常用uwsgi作为Flask的web服务网关，通过nginx反向代理进行负载均衡，通过supervior进行服务进行的管理。这一套搭下来还是有一些坑要踩，本文通过一个简单的Flask web应用记录了CentOS7下python3+Flask+uWSGI+Nginx+Supervisor环境搭建的全过程，以及一些注意事项，以免遗忘。一、Python3环境安装CentOS7下Python3环境安装参考 http://xiejava.ishareread.com/posts/57cef505/
2021-11-05 23:12:48
3082
原创 CentOS7下安装python3.8
环境的搭建是进行开发的第一步，python因为存在python2和python3两个版本，让在建立python环境时造成不便，并且由于在Linux环境下不像Window环境安装那么友好，存在一些小坑。本教程记录了CentOS7下安装python3.8的过程和注意事项。一、查看系统版本[root@localhost ~]# cat /etc/centos-releaseCentOS Linux release 7.2.1511 (Core)[root@localhost ~]# uname -aL
2021-11-04 17:11:25
4768
6
原创 认识SOAR-安全事件编排自动化响应
SOAR是最近几年安全市场上最火热的词汇之一。SOAR究竟是什么，发展历程是什么，能够起什么作用，带着这些问题我们来认识一下SOAR。一、SOAR是什么SOAR 一词来自分析机构 Gartner，SOAR-Security Orchestration, Automation and Response 安全编排和自动化响应。在Gartner的报告里，SOAR平台的核心组件为，编排与自动化、工作流引擎、案例与工单管理、威胁情报管理。而SOAR体系则是三个概念的交叉重叠：SOAR=SOA+SIRP+TIP1
2021-11-01 21:47:44
16697
原创 机器学习使用tokenizer.fit_on_texts报‘float‘ object has no attribute ‘lower‘错解决办法
机器学习使用tokenizer.fit_on_texts报'float' object has no attribute 'lower'错解决办法最近在学习机器。在学习过程中使用kaggle中的Womens Clothing E-Commerce Reviews.csv数据集，用Keras分词器Tokenizer，使用tokenizer.fit_on_texts生成词典报'float' object has no attribute 'lower' 错。from keras.preprocessing.
2021-08-22 15:11:31
3315
原创 都2021了，我为什么还在用博客这种古老的方式在记录
都2021了，在这个移动互联网异常发达，自媒体泛滥的时代，博客这个古老的在互联网时代记录自己的工具似乎是不合时宜要被大众所遗忘被历史所淘汰。而我却还在用博客这种古老的方式生活在移动互联网时代记录工作，学习，生活。一、为什么要记录正如我的博客标题，记录最好的自己。最朴实的想法就是想记录自己的所学、所见、所闻、所思、所想。记录使人进步。吴军老师的《全球科技通史》中提到，促进人类文明发展的是两条主线，一条是能源，一条是信息。文字的发明，信息的记录，让人类的文明得以延续和发展。是一代一代人通过信息的记载和积累.
2021-08-20 21:48:45
312
原创 安全运维与安全运营
安全运维与安全运营是安全人员经常听到的两个名词。到底什么是安全运维，什么是安全运营，两者之间有什么区别和联系呢？我们先来看一下运维与运营的概念区别。运维一般来说指的是运行维护，通过一定的技术管理和技术手段保障平台或系统的正常运行。本质上是对平台、系统或产品所涉及的网络、服务器、服务的生命周期各个阶段的运营与维护，在成本、稳定性、效率上达成一致可接受的状态。运营从字面上理解更多的是指经营。通过对平台、系统或产品的经营达到预期的业务目标。对运营过程的计划、组织、实施和控制，是与产品生产和服务创造密切相关的
2021-08-19 20:51:00
2600
1
原创 网络信息安全管理之资产、脆弱性、威胁、风险
网络信息安全管理是指对网络资产采取合适的安全措施，以确保网络资产的可用性、完整性、可控制性和抗抵赖性，不致因网络设备、网络通信协议、网络服务、网络管理受到人为和自然因素的危害，而导致网络中断、信息泄露或破坏。网络信息管理对象主要包括网络设备、网络通信协议、网络操作系统、网络服务、安全网络管理等在内的所有支持网络系统运行的软、硬件总和。网络信息安全管理的目标就是通过适当的安全防范措施，保障网络的运行安全和信息安全，满足网上业务开展的安全要求。网络信息安全管理要素由网络管理对象、网络威胁、网络脆弱性、网络风
2021-08-19 14:56:08
10828
1
原创 初识威胁情报
随着网络空间的广度和深度不断拓展，当今网络攻击的多样化、复杂化、专业化，安全对抗日趋激烈，传统的安全思维模式和安全技术已经无法有效满足政企客户安全防护的需要，新的安全理念、新的安全技术不断涌现。业界普遍认同：仅仅防御是不够的，更加需要持续地检测与响应。而要做到更有效的检测与更快速的响应，安全情报必不可少。有效的威胁情报可以提高安全产品的对恶意攻击识别能力，提高溯源效率，并及时采取应对措施，减少甚至消除攻击的危害。本文收集了互联网上的威胁情报的相关知识信息，试图从威胁情报的定义、分类、应用三个方面对威胁情
2021-06-25 09:33:57
1071
原创 如何理解企业安全能力框架(IPDRR)
企业安全能力框架(IPDRR)是美国国家标准与技术研究所（National Institute of Standards and Technology）的网络安全框架（简称NISTCSF )。第一个版本于2014年发布，旨在为寻求加强网咯安全防御的组织提供指导。企业可以根据自身需求加强网络安全防御。https://www.nist.gov/cyberframework/framework企业网络安全系统框架（参考IPDRR）随着社会数字化转型的深入，网络攻击事件日益增多、破坏力...
2021-06-17 15:55:53
37307
2
原创 工作这么多年了，我为什么还在考证
工作这么多年了，我为什么还在考证？因为以前一直没有考过啊！毕业以来参加工作后，一直以来认为考证没有啥用处。一方面，因为找工作太过顺利，那会儿找工作也没有看到别人拿什么证去找工作，也没有看到那家公司的招聘广告上写需要什么什么证书。另一方面，由于才从学校出来对于学习考试有种天然的排斥。想想这么多年以来一直都是在学习考试。好不容易毕业了那还不好好放松一下。现在回想起来真是tooyoung,toosimple。工作这么多年，都是在从事研发相关的工作。一开始写代码，要学的东西挺多的，从毕业时候的A...
2020-12-18 16:40:41
399
1
原创 网络信息安全管理要素和安全风险评估
网络信息安全管理要素由网络管理对象、网络威胁、网络脆弱性、网络风险、网络保护措施组成。由于网络管理对象自身的脆弱性，使得威胁的发生成为可能，从而造成了不同的影响，形成了风险。网络安全管理实际上就是风险控制，其基本过程是通过网络管理对象的威胁和脆弱性进行分析，确定网络管理对象的价值、网络管理对象威胁发生的可能性、网络管理对象的脆弱程度，从而确定网络管理对象的风险等级，然后据此选取合适的安全保护措施，降低网络管理对象的风险。所有的安全管理、安全服务、安全技术等都是围绕网络信息安全管理要.
2020-12-04 16:33:42
3461
原创 pyinstaller打包exe后不能运行报Failed to execute script XXXX问题分析与处理
最近用python的tkinter写了个小工具，发现用pyinstaller打包成exe后运行出错。报Failed to execute script XXXXpyinstall -F -w worksubmit.py为了搞清楚报错的原因，想看到程序具体执行的情况。可以通过不带-w的参数打包在控制台看程序执行情况。pyinstaller -F worksubmit.py 可以通过不带-w的参数打包，这时打包的exe运行是带控制台的命令行可以清楚的看到ModuleNotFoundError:
2020-11-01 17:24:03
19456
1
原创 等级保护与分级保护关系与区别
等级保护与分级保护既有联系又有区别：国家安全信息等级保护，重点保护的对象是非涉密的涉及国计民生的重要信息系统和通信基础信息系统；涉密信息系统分级保护是国家信息安全等级保护的重要组成部分，是等级保护在涉密领域的具体体现。国家安全信息等级保护重点保护的对象是涉及国计民生的重要信息系统和通信基础信息系统，而不论它是否涉密。涉密信息系统分级保护保护的对象是所有涉及国家秘密的信息系统，重点是党政机关、军队和军工单位，由各级保密工作部门根据涉密信息系统的保护等级实施监督管理，确保系统和信息安全，确保国家秘密不被泄漏
2020-10-24 16:30:09
1057
原创 Supervisor离线安装及使用
Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，可以选择是否自己启动和报警supervisor的安装有多种方式配置好yum源后，可以直接安装yum install
2020-05-18 11:26:54
1531
原创 logstash简明实用教程
一、logstash是什么Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管...
2020-04-14 16:26:31
1311
原创 syslog日志接口调试方法
日志数据采集，比较方便常用的就是通过syslog来进行数据采集，syslog可以通过udp协议来进行高效的数据传输。一般来说在工程实施的过程中需要对接对端系统的数据采集源可以通过以下步骤来进行syslog日志接口的调试。主要是验证syslog日志是否能正常送到指定的日志服务器的指定端口，日志服务器的指定端口是否能正常收到对端发过来的日志。1、检查双方网络是否通畅网络通畅是所有网络连接的前提条件...
2020-03-18 10:02:35
1152
原创 logstash集成kafka，mysql实现数据采集
logstash是一个非常灵活好用的数据采集框架工具，可以通过简单的配置满足绝大多数数据采集场景的需求。采集数据一个非常典型的场景就是将数据先放到kafka队列里削峰，然后从kafka队列里读取数据到mysql或其他存储系统中进行保存。本文通过一个简单的示例来演示从syslog采集日志到kafka然后在从kafka写到mysql数据库中。默认已经安装好了kafka、mysql、logsta...
2020-03-16 17:23:15
1036
原创 解决Hexo博客模板hexo-theme-next的翻页按钮不正常显示问题
用Hexo搭了个Gitpage的博客，兴冲冲的发了11篇博文后发现翻页按钮不正常显示，显示为<i class="fa fa-angle-right"></i>的HTML编码。如下图：<i class="fa fa-angle-right"></i>这是个什么鬼？这是一个Font Awesome的字体图标，按道理来说这个图标应该可以正常显示的，现...
2020-03-10 15:50:42
2063
原创 通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集...
2020-03-09 22:48:13
1128
1
原创 浅析SIEM、态势感知平台、安全运营中心
近年来SIEM、态势感知平台、安全运营中心等概念炒的火热，有的人认为这都是安全管理产品，这些产品就是一回事，有人认为还是有所区分。那么到底什么是SIEM、什么是态势感知平台、什么是安全运营中心，他们之间有什么联系和区别呢？一、SIEMSIEM英文是security information and event managemen安全信息和事件管理SIEM是一个由多个监视和分析组件组成的安全系统...
2020-03-02 21:34:05
19893
6
原创 通过Git Pages+Hexo搭建自己的博客
一、申请并配置Github Pagesstep1 在github上创建一个git库用github账号登录https://github.com/ ，如没有github账号则申请一个github账号。登录后点击“New repository”新建一个名为username.github.io（username是你的github用户名）如我的是：xiejava1018.github.io ，如果库名以...
2020-02-12 15:29:56
268
原创 解决Hexo博客导航栏链接URL乱码问题
今年的计划之一是搭建一个博客，开始写博客。于是在网上找了一些博客程序发现用Hexo在gitHub上搭建自己的个人博客是比较简单而且易于维护的做法。在网上找了一些教程后开始搭建，用自己比较中意的hexo-theme-next模板，发现搭建成功后导航栏链接不对，出现了URL乱码的问题。在网上搜索了一把发现有些网友也碰到了类似的问题不过都还没有解决。我是从 https://github.com/Do...
2020-01-05 16:34:01
2631
原创 解决layui表单ajax提交回调函数不起作用问题的两种方式
最近想用layui开发一个论坛模板用的是fly-ui，才接触layui对其还不太熟悉。一个简单的登录就困扰了我很久。登录的form通过ajax提交回调函数老是不起作用。经过浪费了N多时间的调试，发现layui的button默认就是submit提交。所以在ajax提交的时候同时进行了submit的表单提交。因为ajax是异步的，所以在回调函数还没有来得及执行，submit把表单页面提交了，所以回...
2019-08-12 17:57:57
3414
3
原创 LVM简介及CentOS7 LVM操作实战
LVM简介LVM是逻辑盘卷管理（LogicalVolumeManager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和 分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组 （volumegroup），形成一个存储池。管理员可以在卷组上随意创建逻辑卷组（logicalvolumes...
2019-06-01 17:41:15
388
原创 记一次网站性能优化的经过
自己的网站 www.ishareread.com 有时候访问快，有时候访问慢，今天访问特别慢。打开首页都要10多秒。一般来说如果一个网站打开页面的速度大于5秒，大家就会失去耐心，果断的离开你的网站。所以网站访问速度慢作为一个站长是不可忍受的。于是开始了折腾之旅。首先看服务器性能，cpu和内存使用都正常，看后台日志也没有报错信息。通过nginx的访问日志看访问量也不是特别大，都在正常的范围。...
2019-01-15 16:18:12
318
原创 阿里云centos7服务器启用和配置swap分区
我的服务器是阿里云的服务器Centos7。CPU为1G，内存1G。平时访问速度也还可以，内存是少是少了点，但基本还是够用。今天用top看了cpu及内存使用情况，发现free的内存已经只有10多M了，发现阿里云的centos7默认居然没有swap空间。赶紧加入swap。1、创建用于交换分区的文件dd if=/dev/zero of=/mnt/swap bs=1M count=1024bs...
2019-01-15 16:12:27
1849
1
原创 python通过flask-SQLAlchemy触发器优化性能
最近在学习python web开发，flask web框架让python web开发变得非常简单。在学习《Flask Web开发实战》中的开源博客（blueblog）程序时发现有很多地方的写法值得商榷，都可以进行优化。如在显示文章数和回复数的时候是在模板中直接通过对象列表的长度来获取如{{ category.posts|length }}，这种方式实际是进行查询后再获取对象列表的长度，而这种查...
2019-01-09 08:54:02
3306
原创 url中有空格等特殊字符及中文字符处理
在做爬虫时，爬下来的书籍的URL地址各式各样，什么情况都有。有的url地址既有中文，又有%20 空格等特殊字符。如 http://www.ishareread.com/book/2018/不成问题的问题%20-%20老舍.mobi如果是在url中有中文需要转码，但转码后会将%号替换成%25，导致url不能访问了。解决的办法，先判断url中是否有中文，如果有中文，则替换特殊字符，再进行转码。代码如下...
2018-06-15 16:36:07
5417
原创 MyBatis下在插入数据时获得MySQL自增长序列的值
在写代码的时候经常会碰到这样一种情况，就是有个A表的主键是mysql自动递增的序列，而这个A表的主键又是B表的外键。有时候会在同一个方法事务里先插入A表，然后插入B表，但是这时后在程序中还无法获得这个A表的自动递增的序列主键，导致插入B表的时候外键插入为空或报错。这种情况可以通过在MyBatis中配置selectKey 为mysql的LAST_INSERT_ID()函数获得插入时的自增序列值来获得...
2018-06-10 19:34:25
3599
原创 CentOS7下mongodb忘记密码后重置密码
新装mongodb后，结果一段时间没有用，密码给忘记了，只能重置密码了。步骤如下：1、找到mongodb的配置文件通过ps -ef|grep mongod找到mongodb的配置文件mongod.conf也可以通过find / -name mongod.conf找到配置文件发现配置文件在/etc/mongod.conf2、编辑配置文件将用户验证的配置项屏蔽vi /etc/mongod.conf保存...
2018-06-10 18:27:16
11425
Python实现matplotlib动态绘图
2023-08-27
Python实现简单信号滤波实战（代码+数据集）
2023-03-13
机器学习实现恶意URL检测实战（代码+数据集）
2023-02-06
AI机器学习时序序列特征提取实现分类预测实战
2023-01-14
supervisor_install_pack.tar.gz
2020-05-18
java转json串的几种方法
2017-11-24
自动reload nginx解决nginx对动态域名不重新解析的Shell脚本
2017-01-07
mybatis-eclipse插件及生成代码说明
2016-10-21
自定义table标签和数据展现控件(源码)
2007-11-01
自定义table标签
2007-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人