- 博客(28)
- 收藏
- 关注
RSS订阅原创 csdn去除/自定义水印
csdn博客中去除水印/自定义水印的方式富文本编辑器和markdown编辑器皆适用先附上想上传的图片的原图markdown编辑器：将此图片直接复制，粘贴到markdown编辑器上，会出现想把这些水印去掉怎么办呢。先看一下粘贴图片时自动生成的代码：
503
原创 py常用的字符转换类函数
以下全部基于py3.7测试字符(串)/ascii值转换chr()参数范围为0~255，返回对应的字符>>>chr（65）‘A’Unichr()参数范围为0~65535(0x0000-0xFFFF)，返回Unicode字符在py3.x中已经归结到chr()里>>> unichr(12345)u’\u3039’在py3直接显示出一...
2019-04-18 22:16:21
831
原创 py3 nonlocal及函数嵌套调用
Python里只有2种作用域：全局作用域：全局作用域是指当前代码所在模块的作用域局部作用域：局部作用域是指当前函数或方法所在的作用域局部作用域里的代码可以读外部作用域（包括全局作用域）里的变量，但不能更改它。一旦进行更改，就会将其当成是局部变量。而如果在更改前又进行了读取操作，则会抛出异常。 而在解决作用域问题有两个关键字：global，nonlocal其中，nonloca...
2019-01-16 18:24:07
390
原创 Dll的基本原理和使用方法
引言 调用方式 MFC中的DLL DLL入口函数 关于约定 关于DLL的函数 模块定义文件(.DEF) DLL程序和调用其输出函数的程序的关系 引言 比较大的应用程序都由很多模块组成，这些模块分别完成相对独立的功能，它们彼此协作来完成整个软件系统的工作。可能存在一些模块的功能较为通用，在构造其它软件系统时仍会被使用。在构造软件系统时，如果将所有模块的...
2019-01-11 19:34:35
6868
原创 爬取百度贴吧（二） --爬取并清洗出所需内容
一、爬取网页源代码1、下载网页的html源代码from bs4 import BeautifulSoupdef handlechapter(url): response = urllib.request.urlopen(url) html = response.read().decode('utf-8') return htmlhtml = handlec...
2018-11-09 22:35:24
566
原创 爬取百度贴吧（一）--分析贴吧首页源码
一、分析贴吧网页源码结构直接打开源代码，太乱了。无从下手，那就从开发者工具找一下。我想获取每个帖子的标题、回复数、时间和链接（可能的话以后会尝试自动保存帖子当前页的截图）先选中帖子的模块吧~在chrome中，ctrl+shift+i就可以打开。选中elements的选项。接下来的操作就很简单了，只要将鼠标移到代码上，其所指示的位置就会标出。一步一步，得出了我想找的一...
2018-11-05 22:29:57
3247
原创 初看缓冲区（堆栈）溢出
先看一段简单的小程序#include <stdio.h>#include <string.h>char name[]="NEUQ_CSA";int main(){ char output[8]; strcpy(output,name); for(int i=0;i<8&&output[i];i++) printf("\\...
2018-10-26 18:10:37
1254
3
原创 关于markdown图片显示
一、将图片内嵌到md文档中将图片嵌入Markdown文档中一直是一个比较麻烦的事情。通常的做法是将图片存入本地某个路径或者网络存储空间，使用URL链接的形式插入图片：![image][url_to_image]这样做一个明显的麻烦之处在于处理图片与Markdown文档的一致性上。如果我们要拷贝文档，或者图片遭到误删/云端链接失效，就会变得不便。最让我们省心的方法便是将图片...
2018-10-26 13:01:38
13608
5
转载 ctf密码学汇总
CTF中那些脑洞大开的编码和加密摘自：https://www.cnblogs.com/mq0036/p/6544055.html0x00 前言正文开始之前先闲扯几句吧，玩CTF的小伙伴也许会遇到类似这样的问题:表哥，你知道这是什么加密吗？其实CTF中脑洞密码题(非现代加密方式)一般都是各种古典密码的变形，一般出题者会对密文进行一些处理，但是会给留一些线索，所以写此文的目的是想给小伙伴做...
2018-10-25 17:30:21
2303
转载 各类文件头标准编码
转自http://www.cnblogs.com/gwind/p/8215771.htmlJPEG (jpg)，文件头：FF D8 FFPNG (png)，文件头：89 50 4E 47 【参考：png文件头详解】89 50 4e 47 0d 0a 1a 0aGIF (gif)，文件头：47 49 46 38Windows Bitmap (bmp)，文件头：42 4D [参考：b...
2018-10-25 16:53:01
4068
转载 ctf密码学在线转换网址
链接装载自：http://hack-0.lofter.com/post/1e5974f4_f81b8fexssee:http://web2hack.org/xsseexssee:http://evilcos.me/lab/xssee程默的博客(DES,3DES,AES,RC,Blowfish,Twofish,Serpent,Gost,Rijndael,Cast,Xt...
2018-05-14 21:10:42
10533
转载 隐写术总结
转自https://blog.csdn.net/captivate_guan/article/details/73692302几种隐写术加密工具：人们在图像中隐藏秘密信息，用图像中的每个字节的最不重要的比特代替消息比特。但是图像并没有怎么改变（大多数图像标准规定的颜色的等级比人类眼睛能够察觉到的要多得多），秘密消息却能在接收端剥离出来。比如一张照片，在计算机中用24比特来描述每一个像素的颜色。如果...
2018-05-12 14:43:06
4867
原创 IP地址简单概念
在internet中，任何一台服务器和路由器的每一个端口必须有一个IP地址。（标识着一个计算机）基本格式32位地址，有二进制和十进制格式（十进制由二进制格式翻译而来）IP地址格式：网络地址+主机地址或网络地址+子网地址+主机地址 如： 192.168.0.11 【网络地址】由internet权利机构统一分配-->全球唯一 【主机地址】由网络管理人员自...
2018-03-19 17:43:54
3174
原创 对于模糊测试和黑盒测试的理解
黑盒测试黑盒测试也称功能测试，它是通过测试来检测每个功能是否都能正常使用。在测试中，把程序看作一个不能打开的黑盒子，在完全不考虑程序内部结构和内部特性的情况下，在程序接口进行测试，它只检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。黑盒测试着眼于程序外部结构，不考虑内部逻辑结构，主要针对软件界面和软件功能进行测试。黑盒测试是以用户的角度，从输入数...
2018-03-18 00:36:29
6029
转载 java.security简单介绍
转载于http://www.cnblogs.com/jtlgb/p/7111049.htmljava.security Java.security KeyStore PrivateKey Signaturejava.security.cert X.509Certificatejava.security.KeyStore概述public class KeyStore extends Objec...
2018-03-17 17:37:22
8798
原创 关于对安全服务与机制之间的联系的理解
参考《网络安全基础》（William stallings）应用与标准（第五版） 安全服务与机制之间的关系1.对等实体认证： 认证：（单条消息/单向）向接收者保证消息是来自于它所要求的源 （正在交互）需双方参与。认证服务请确保两个...
2018-03-07 21:08:32
7139
转载 hadoop参数配置
hadoop 参数配置hadoop 参数 hadoop配置参数 hadoop优化目录[-]Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlHadoop参数汇总@(hadoop)[配置]linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需...
2018-02-27 18:21:20
816
原创 6.1可视化
可视化字体：1.ECharts简介ECharts，纯Javascript图表库，基于Canvas，底层依赖ZRender，商业产品常用图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，C
2018-02-01 12:02:55
412
原创 5.2Hive统计
Hive统计字体：1.基础概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive构建在基于静态批处理的Had
2018-02-01 12:02:04
1215
原创 5.1Hive安装部署
Hive安装部署字体：实验目的1.了解Hive的安装部署2.了解Hive的工作原理实验原理Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用
2018-02-01 12:01:16
279
原创 4.2HBase JAVA API
HBase JAVA API字体：实验目的1.了解HBase语言的基本语法2.了解HBase开发的原理3.了解HBase Java API的使用实验原理HBase与Hadoop一样，都是用Java编写的，所以HBase对Java支持是必须的，HBase Java API核心类介绍如下：1.HBaseConfiguration类HBaseConfiguration
2018-02-01 11:59:19
759
原创 4.1HBase安装
HBase安装字体：实验目的1.了解HBase的安装流程2.了解HBase的工作原理实验原理HBase是一个分布式的，面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文”Bigtable：一个结构化数据的分布式存储系统“。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列而不是基于行模式。在需要实
2018-02-01 11:58:20
326
原创 3.3电商评论数据清洗
实验3.3电商评论数据清洗字体：1.数据清洗概述数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，
2018-02-01 11:55:17
4397
1
原创 3.2 Mapreduce实例—WordCount
实验3.2 Mapreduce实例—WordCount字体：实验目的1.准确理解Mapreduce的设计原理2.熟练掌握WordCount程序代码编写3.学会自己编写WordCount程序进行词频统计实验原理MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是...
2018-02-01 11:54:51
1176
原创 3.1 Hadoop开发插件安装
实验3.1 Hadoop开发插件安装字体：实验目的1.了解Eclipse开发环境的使用2.熟练掌握Hadoop开发插件安装实验原理Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是Eclipse附带了一个标准的插件集，包括Java开发工具（Java Development Tools，JDT）。Eclip...
2018-02-01 11:54:20
3360
原创 2.爬取电商数据
使用webmagic爬取电商评论数据字体：1.什么是爬虫网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫...
2018-02-01 11:53:46
10502
转载 Hadoop启动脚本全面详解
在工作过程中，经常需要调整一些Hadoop的参数配置，所以经常会遇到各种各样的问题。比如改了个配置怎么突然namenode起不来啦，加了个jar包怎么让hadoop的jvm加载啊，如何设定log目录啦等等，每次都需要仔细的查一遍启动脚本才能找到原因，费时又费力，因此专门总结了一下以便不时之需。cloudera的hadoop的启动脚本写的异常复杂和零散，各种shell脚本分散在系统的各个角落，让
2018-01-29 20:54:59
1680
1
原创 Hadoop伪分布式安装
1.环境信息elementary 14.04Java 1.8.0_151（/apps/jdk1.8.0_151）Hadoop 2.6.5（/apps/hadoop）用户名bigdata、密码123、主机名hadoop2.创建bigdata用户# 创建名为bigdata的用户$ sudo useradd -m bigdata# 用如下指令设置密码，按提示输入两次密码，设置为123$ sudo pas...
2018-01-29 20:53:10
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人