- 博客(47)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Linux上通过binlog文件恢复mysql数据库详细步骤
我们开发阶段,经常要有一些测试数据在我们测试相关功能的时候,是十分必要的.后期由于引入了正式的数据,但是测试数据并没有被及时清理.这个时候由于一个误删除,导致一些正式的数据被删除,由此,一场追找数据的过程就开始了…解决方案:通过每天备份的日志进行查找,但是很不幸的是,我们由于没有正式上线,所以数据库的备份脚本一直没有执行中,故此路不通借助强大的mysqlbinlog工具了一、bin...
2020-01-10 14:53:07
2743
原创 SQL注入之SQLmap入门
sqlmap也是渗透中常用的一个注入工具，其实在注入工具方面，一个sqlmap就足够用了。现在支持python3了基本参数is-dba 当前用户权限dbs 所有数据库current-db 当前数据库users 所有用户current-user 当前用户--tables ...
2020-01-09 13:25:15
2160
1
原创 布隆过滤器在电商系统中的应用
布隆过滤器（Bloom Filter）是1970年由巴顿.布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。...
2022-06-18 23:51:07
275
1
原创 【python】diff-match-patch实现合同文本比对
1、将文件转成图片，OCR识别把比对文件转为图片OCR识别文字使用合合旗下一站式OCR云端服务平台，对文字进行快速、精准的检测和识别。2、google/diff-match-patch获取差异google/diff-match-patch该库最初建于 2006 年，用于支持 Google Docs，现在可用于 C++、C#、Dart、Java、JavaScript、Lua、Objective C 和 Python。Diff Match 和 Patch 库提供了强大的算法来执行同步纯文本所需.
2022-05-29 23:12:44
1988
原创 ElasticSearch 基础入门
1、ElasticSearch简介Elasticsearch（ES）通俗简介2、单实例运行ES不能使用root 用户执行命令cd ./elasticsearchsh ./bin/elasticsearch # 当前命令ctrl+c或关闭终端窗口的时候程序就会stop掉#后台运行sh ./bin/elasticsearch -djps #查看运行进程3、集群配置修改各节点配置文件： config/elasticsearch.yml，增加以下配置# 主节点cluster.name: m
2022-05-18 00:32:04
1202
原创 Linux下php如何把word转为图片
1、安装unoconvyum install unoconv# 安装是否成功unoconv --version2、安装imagemagickyum install imagemagick# 是否安装成功convert -version3、处理文件3.1 将word文件转成pdfunoconv -f pdf test.docx3.2、将pdf转成图片convert test.pdf %d_test.jpg可能出现的问题中文乱码问题参考 centos安装中文字体
2022-05-08 08:45:00
718
原创 centos安装中文字体
安装过程需要root权限！使用su root切换到root用户1、安装字体库yum install fontconfig2、安装更新字体命令yum install mkfontscale3、新建目录、上传中文字体mkdir /usr/share/fonts/Chinese# 切换到中文目录下 将Windows中文字体上传cd /usr/share/fonts/Chinese# 该目录及其下所有文件需要有执行权限chmod -R 755 /usr/share/fonts/Chine.
2022-05-07 23:38:28
7396
原创 Hadoop常见问题及解决方法汇总
1、ERROR: Unable to write in /opt/hadoop-3.3.0/logs. Aborting. Starting datanodes解决：sudo chown -R hadoop:hadoop /usr/local/hadoop2、790 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you解决：/opt/hadoop-3.3.0/etc/hadoop/log4j.propertie
2021-08-11 10:05:19
4126
原创 完美解决php 导出csv格式的数据时乱码问题
header('Content-Type: application/vnd.ms-excel'); //header设置header("Content-Disposition: attachment;filename=".$name."历史净值-".date('YmdHis').".csv");header('Cache-Control: max-age=0');$fp = fopen('php://output','a'); //打开php文件句柄，php://output表示直接输出到
2021-07-28 21:43:04
1334
原创 DataX源码编译遇到的坑
问题1 对Record的引用不明确[294,12] 错误: 对Record的引用不明确[ERROR] com.alibaba.datax.common.element 中的接口 com.alibaba.datax.common.element.Record 和 java.lang 中的类 java.lang.Record 都匹配[ERROR] G:\lantai\DataX- master/core/src/main/java/com/alibaba/datax/core/transport/tr
2021-07-15 17:59:37
4816
原创 MapReduce基本原理分析
MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题MapReduce是分布式运行的，由两个阶段组成：Map和ReduceMapReduce框架都有默认实现，用户只需要覆盖map()和reduce()两个函数，即可实现分布式计算，非常简单。MapReduce原理分析一个block对应一个split，一个split对应一个map任务...
2021-07-11 17:21:55
184
1
原创 HDFS体系结构详解
HDFS — — Hadoop 分布式文件系统是世界上最可靠的存储系统，HDFS 文件系统被设计用于海量文件存储，其优点是存储大文件而不是大量的小文件；HDFS 容错存储层还提供对 Hadoop 和其它元件的支持，HDFS 的数据复制将帮助我们实现这一特征，它能可靠地存储数据，并且几乎不受硬件故障的影响；HDFS提供高吞吐量数据访问应用程序，提供数据的并行访问。NameNode...
2021-07-08 23:52:40
816
原创 Hadoop集群的安装配置
Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 、slave节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境在Master、 Slave 节点上配置SSH免密码登录在 Master 节点上安装 Hadoop，并完成配置将 Master 节点上的 /usr/local/hadoop 目录（Hadoop安装目录）复制到其他 Slave 节点上在 Master 节点上开启 Hadoop修改服务器主机名、/etc/host
2021-07-03 17:35:35
783
原创 centos7下安装配置jdk1.8
检查和删除系统预装jdk[root@～ master]# rpm -qa | grep java#如果有安装jdk，用以下命令直接删除[root@～ master]# rpm -e --nodeps `rpm -qa | grep java`查看java软件包列表[root@～ master]# yum -y list java*下载安装java1.8软件包[root@～ master]# yum install java-1.8.0-openjdk*配置环境变量修改/etc/pro
2021-07-01 21:33:00
303
原创 Mac下搭建Go语言开发环境
一、安装Golang的SDK安装包下载地址 ：https://golang.org/dl/双击 .tar.gz 文件，就会自动解压成名字为“go”的文件夹；拖拽到你的用户名下，记住路径双击pkg包，顺着指引，即可安装成功验证SDK安装成功二、配置环境变量打开终端输入cd ~进入用户主目录;输入ls -all命令查看是否存在.bash_profile存在既使用vim .ba...
2021-03-20 22:58:45
176
原创 Git常见问题汇总「持续更新...」
git修改远程仓库地址删除当前地址，重新添加git remote rm origingit remote add origin [url]修改git remote origin set-url [url]修改config.gitignore规则无效已使用add、commit、push命令的文件/目录已经被Git跟踪(track)无法被.gitignore忽略掉！git rm --cached <file>文件未进行提交操作如果忽略规则是在git rm
2020-08-03 11:58:57
160
原创 Linux使用apidoc自动生成Restful web Api文档
apidoc简介apidoc是一款可以有源代码中的注释直接自动生成api接口文档的工具，它几乎支持目前主流的所有风格的注释。支持的编程语言：C#, Go, Dart, Java, JavaScript, PHP(all DocStyle capable languages)CoffeeScriptErlangRuby安装node环境(已安装可忽略)1. 官网下载已编译好的安装包以Centos7.4 64位为例, 下载地址: https://nodejs.org/dist
2020-07-24 10:47:41
241
原创 PdfParser读取PDF文件内容
PdfParser 是一个标准的 PHP 库提供个用于从 PDF 文件中抽取数据的工具。它加载 PDF文件并解析文件中对象、头和元数据，可抽取其中的文本信息，支持压缩的 PDF、MAC OS 罗马字符集编码、8进制和16进制编码。兼容PSR-0 和 PSR-1。官方文档:https://www.pdfparser.org/documentation使用composer安装依赖包：composer require smalot/pdfparser1、获取文件的基本信息，如：制作人、日期、总页数.
2020-07-22 12:08:03
6681
原创 渗透利器—BurpSuite基本介绍
一、BurpSuite简介Burp Suite 是用于攻击web 应用程序的集成平台。它包含了许多工具，并为这些工具设计了许多接口，以促进加快攻击应用程序的过程。所有的工具都共享一个能处理并显示HTTP 消息，持久性，认证，代理，日志，警报的一个强大的可扩展的框架。本文主要介绍它的以下特点：Target(目标)——显示目标目录结构的的一个功能Proxy(代理)——拦截HTTP/S的代理服务器，作为一个在浏览器和目标应用程序之间的中间人，允许你拦截，查看，修改在两个方向上的原始数据流。Spider(
2020-07-14 16:52:09
5330
原创 NSCTF测试平台Code Php解题思路
1、点击链接，页面显示如下：2、结合hint1，首先打开控制台尝试寻找3、访问code.txt，代码来啦<?phpif(isset($_GET['v1']) && isset($_GET['v2']) && isset($_GET['v3'])){ $v1 = $_GET['v1']; $v2 = $_GET['v2']; $v3 = $_GET['v3']; if($v1 != $v2 && md5($v1.
2020-07-08 16:51:08
1815
3
原创 Centos7 编译安装swoole扩展 详细教程
安装环境centos 7.6php 7.2.18下载安装包下载地址 https://github.com/swoole/swoole-src/archive/v4.5.2.tar.gzsudo wget https://github.com/swoole/swoole-src/archive/v4.5.2.tar.gzsudo tar zxvf v4.5.2.tar.gzcd swoole-src-4.5.2编译安装使用安装 php 时生成的 phpize 来生成 configure
2020-06-18 10:58:21
818
原创 laravel-admin自定义扩展及常见问题汇总
1. 浏览器打开 http://xxxx/admin/ 404配置伪静态，以Nginx为例：location / { try_files $uri $uri/ /index.php?query_string;}2. Laravel admin 汉化问题完成安装之后，默认语言为英文(en)，如果要使用中文，打开config/app.php，将locale设置为zh-CN即可。如果上面修改之后，信息还是英文的，那么可以安装Laravel-lang来切换成中文。3. 修改config/ad
2020-06-02 15:59:36
1494
原创 一个案例将MySQL存储过程学透彻
本文就用一个简单案例来讲讲存储过程究竟是啥东东。首先，我们先认识下MySQL存储过程这个概念。MySQL中每个存储的程序都包含一个由SQL语句组成的主体。该语句可以是由多个用分号（;）字符分割的语句组成的复合语句。接着，我们来看看其语法格式：CREATE PROCEDURE PROCNAME(参数1 参数类型，参数2 参数类型，……)BEGIN --statement sql;...
2020-04-29 00:37:58
253
原创 PHP中的CGI实现
PHP的CGI实现本质是是以socket编程实现一个TCP或UDP协议的服务器，当启动时，创建TCP/UDP协议的服务器的socket监听， 并接收相关请求进行处理。这只是请求的处理，在此基础上添加模块初始化，sapi初始化，模块关闭，sapi关闭等就构成了整个CGI的生命周期。以TCP为例，在TCP的服务端，一般会执行这样几个操作步骤：调用s...
2020-04-25 23:40:47
1159
原创 「概念了解」什么是CGI，FastCGI，PHP-CGI与PHP-FPM
CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。FastCGI&...
2020-04-25 22:02:06
237
原创 PHP之YII2和YII的不一样的地方
在Yii 2.0中已经使用Comsoper来管理各种依赖关系，你在安装的时候完全可以用composer来进行安装Yii2引入了资源包的概念，资源引用的方式变化较大有两种方式引入资源，一种是通过assets目录下的AppAsset类，还有就是通过类似Yii1种的注册方法Yii2在视图层的一个显著改变是引入了视图类，这样在MVC模式实现上更为完整。 类似主题等不同的配置在Yii...
2020-04-15 23:04:39
290
原创 MySQL 中文全文检索教程
在MySQL 5.7.6之前，全文索引只支持英文全文索引，不支持中文全文索引，需要利用分词器把中文段落预处理拆分成单词，然后存入数据库。从MySQL 5.7.6开始，MySQL内置了ngram全文解析器，用来支持中文、日文、韩文分词。ngram全文解析器MySQL 中使用全局变量ngram_token_size来配置ngram中n的大小，它的取值范围是1到10，默认值是2。通常ngram...
2020-04-15 11:26:05
537
原创 一文读懂Git flow 工作流
Git 作为一个源码管理系统，不可避免涉及到多人协作。协作必须有一个规范的工作流程，让大家有效地合作，使得项目井井有条地发展下去。Git flow最早诞生、并得到广泛采用的一种工作流程，就是Git flow 。特点它最主要的特点有两个。一、项目存在两个长期分支主分支master开发分支develop前者用于存放对外发布的版本，任何时候在这个分支拿到的，都是稳定的分布版...
2020-04-07 20:08:03
307
原创 PHP生命周期、图解Laravel请求的完整生命周期
世间万物皆有生命周期，当我们使用任何工具时都需要理解它的工作原理，那么用起来就会得心应手，应用开发也是如此。理解了它的原理，那么使用起来就会游刃有余。在了解 Laravel 的生命周期前，我们先回顾一下PHP 的生命周期。PHP 的生命周期生命周期当我们请求一个php文件时,PHP 为了完成这次请求，会发生5个阶段的生命周期切换:模块初始化（MINIT），即调用 php.ini ...
2020-04-03 21:19:26
481
原创 Mac 抓包工具charles安装及配置使用
什么是charles?charles是一个HTTP代理服务器,HTTP监视器,反转代理服务器，当浏览器连接Charles的代理访问互联网时，Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信，这些包括request, response和HTTP headers （包含cookies与caching信息）。下载安装官网下载地址：https://w...
2020-03-31 23:02:05
1069
原创 MySQL优化原理
说起MySQL的查询优化，相信大家收藏了一堆：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型…你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这些优化建议背后的原理就尤为重要，希望本文能让你重新审视这些优化建议，并在实际业务场景下合理的运用。一、MySQL逻辑架构如果能在头脑中构建一幅MySQL各...
2020-03-15 22:48:17
330
原创 a标签下载txt，会直接打开txt文件的处理方法
一、href + download方法通常在咱们写项目的时候会遇到上传下载什么的，在上传完文件后会把文件的路径保存到数据库里以便下载，如果想不通过后台直接下载的话，可以把文件路径给a标签的属性href；<a href="/attachment/xxxx.txt">下载</a>这样当用户打开浏览器点击链接的时候就会直接下载文件。但是有个情况，比如txt,png,jp...
2020-03-15 11:25:34
6862
原创 Mac挂载服务器远程目录到本地，实现自动同步
远程部署项目时候,如果只改了一个class文件 则不需要部署整个项目,同步编译目录和目标目录即可mac 安装 fswatch，linux可以使用自带的 inotifywaitbrew install fswatch编写脚本 xxxx.sh先设置ssh公钥登录远程服务器,这样每次同步不需要输入密码参考 Mac使用ssh公钥免密登录Linux～/PhpStorm/proj...
2020-02-05 18:02:09
1589
1
原创 Mac使用ssh公钥免密登录Linux
ssh登录Linux通常有两种方法：用户名密码登录、用户名公钥登录；使用用户名密码登录每次都要输入密码，相当麻烦，而使用用户名公钥登录则可以避免这个问题打开本地终端，执行 ssh-keygen 命令创建密钥对：ssh-keygen -t rsa -C 'your [email protected]'-t 指定密钥类型，默认即 rsa ，可以省略-C 设置注释文字，比如你的邮箱，可以省略...
2020-02-05 14:13:32
1873
原创 PHP面试题2019年腾讯工程师面试题和答案
一、单选题（共29题，每题5分）1.PHP执行的时候有如下执行过程：Scanning(Lexing) - Compilation - Execution - Parsing，其含义分别为：A、将PHP代码转换为语言片段(Tokens)、将Tokens转换成简单而有意义的表达式、顺次执行Opcodes、将表达式编译成OpocdesB、将PHP代码转换为语言片段(Tokens)、将表达式编译成O...
2020-02-04 16:15:20
2320
原创 程序员3~5年后如何规划自己
一般情况下，程序员干倒3~5个年头的时候，已经进入了一个分水岭了，技术上倒是没有太大问题了，但是精力上肯定是到达了一个疲惫期了。随着工作年限的增长、对生活对生命认识的深入，应当不断思考三个问题：我到底适不适合当一名程序员？我到底应不应该一辈子以程序员为职业？我对编程到底持有的是一种什么样的态度，是够用就好呢还是不断研究？最终，明确自己的职业规划，对自己的规划负责并为之努力。...
2020-01-13 22:05:48
6582
原创 Elasticsearch（ES）通俗简介
Elasticsearch到底是什么玩意Elasticsearch（ES）是一款基于Lucene的分布式、可扩展、高可用、实时的搜索与数据分析引擎。Lucene是使用Java实现的一套全文检索类库，ES基于Lucene做了分布式相关的工作。Elasticsearch有哪些应用全文检索结构化查询近实时数据海量数据进行近实时的处理分析统计Elasticsearch相关概念集群（...
2020-01-08 20:01:18
1183
原创 Mac安装SQLmap【亲测有用】
sqlmap是由Python编写的渗透测试工具，主要用来检测sql注入漏洞，是一款功能强大的sql漏洞检测利用工具。Mac安装SQLmap有很多种方式，此篇文章使用brew install（简单直接），安装过brew的直接忽略前两步在mac终端下安装brew:/usr/bin/ruby-e "$(curl -fsSLhttps://raw.githubusercontent.com/...
2020-01-08 16:14:38
6145
原创 HTML5 Canvas标签及基本使用
< canvas>定义图形 基于状态进行绘制的大多数 Canvas 绘图 API 都没有定义在 < canvas> 元素本身上，而是定义在通过画布的 getContext() 方法获得的一个“绘图环境”对象上canvas.width canvas.height //指定canvas的宽高canvas.getContext("2d"); //返回绘制的环...
2020-01-08 09:25:09
660
2
原创 PHP使用phpunit进行单元测试示例
本文实例讲述了PHP使用phpunit进行单元测试。分享给大家供大家参考，具体如下：1. linux服务器上安装phpunitwget https://phar.phpunit.de/phpunit.pharchmod +x phpunit.pharsudo mv phpunit.phar /usr/local/bin/phpunit建立phpunit短命令phpunit --v...
2020-01-08 00:20:22
1032
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人