笔墨留年。

写在最前面：本文只会讲思路，不会放代码，不会放代码，不会放代码，重要的事情说三遍。因为这个事情还是比较敏感的，顶象在验证码方向做的也算是比较大的了，国内很多公司在用的验证码都是顶象的，代码就不放了，避免被人拿去做坏事了。另外，也是为顶象的验证码做个简单的测试。如果有顶象的大佬看到，可以考虑把这个验证码更新一下啦~纯一时手痒，仅为技术交流，请勿用于任何商业活动，也请勿对顶象的验证码进行攻击，感谢~请不要进行任何违法行为，否则后果自负！以下正文。前两天有位大佬丢过来一张验证码图片，问我该如何处

汉字点选式验证码解决方案方案要点：点选式验证码的一般解决流程如何使用 xyolo 训练自己的目标检测模型不借助 OCR 功能解决中文验证码的识别问题爬虫，反爬虫，反反爬虫……一个无限循环。验证码是反爬虫手段中的常用技术，今天，笔者选择其中的一种——汉字点选式验证码 和大家分享一下。点选式验证码一般会给定两部分内容：需要点击的几个汉字（为了便于区分，把这部分称为标签部分）。可能直接给文字（可以直接从html中知道是什么字），也可能给一张包含这几个字的图片（从html里面只

前段时间在 qqwweee/keras-yolo3 的基础上改写出了一个支持TensorFlow 2.2版本的yolo3项目，我把它命名为tf2-keras-yolo3。怎么说呢，用是肯定能用的，但操作步骤太过繁琐和反人性化，自己用起来嫌麻烦，别人用起来上手也有一定难度，于是，我萌生了重构并打包它的想法。于是，就有了xyolo~xyolo可以通过pip一键安装，而且使用起来非常简单，只需要几行代码就可以训练自己的yolo3模型，或者调用训练好的模型进行目标检测。废话少说，一起来看一下吧！GitHu

前言这也是一个重写的项目，之前用Python 2.7 + TensorFlow 1.4写的图片神经风格迁移的项目（TensorFlow 练手项目三：使用 VGG19 迁移学习实现图像风格迁移）直到现在还有很多朋友问我相关问题，毕竟环境太过古老，如今很难顺利跑起来，可能要做不少兼容性的调整（除非照装一样的环境……）。于是，我抽时间用TensorFlow 2.0重写了一下。先做一下简单演示（所有演...

前言前阵子使用RNN写了个古体诗生成器（有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器）的NLP小Demo玩玩。而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。Transformers系列模型不断刷新着NLP任务得分记录，在绝大多数任务下都远胜于传统的、基于RNN的NLP任...

起源kindle是个好东西啊，如果长时间阅读的话，kindle的体验远胜于手机、电脑。亚马逊上有丰富的kindle电子书资源，但很遗憾，亚马逊上没有网络小说。手机起点又不支持推送到kindle阅读，如果偶尔先看看网文的话，那是真的有点淡疼……于是，就抽出几天零碎时间，写了个简单的小工具，我把它叫做Kindle网文助手。支持从网络上下载网络小说，并推送到 kindle 上阅读。请注意，此项目不...

一、前言很早之前，我曾经写过一个古体诗生成器（详情可以戳TensorFlow练手项目二：基于循环神经网络(RNN)的古诗生成器），那个时候用的还是Python 2.7和TensorFlow 1.4。随着框架的迭代，API 的变更，老项目已经很难无障碍运行起来了。有不少朋友在老项目下提出了各种问题，于是，我就萌生了使用TensorFlow 2.0重写项目的想法。这不，终于抽空，重写了这个项目。...

本文主要包含如下内容：修改qqwweee/keras-yolo3(目标检测算法YOLOv3的一个Keras版本的优秀实现)，将其修改为tf.keras为主导的，并修订不兼容的接口和逻辑，使其支持TensorFlow 2.0版本实践修改后的YOLOv3算法对实践结果的简单分析修改后的项目 GitHub：tf2-keras-yolo3 (https://github.com/AaronJ...

心血来潮，想从零开始编写一个相对完整的深度学习小项目。想到就做，那么首先要考虑的问题是，写什么？思量再三，我决定写一个宠物识别系统，即给定一张图片，判断图片上的宠物是什么。宠物种类暂定为四类——猫、狗、鼠、兔。之所以想到做这个，是因为在不使用公开数据集的情况下，宠物图片数据集获取的难度相对低一些。小项目分为如下几个部分：爬虫。从网络上下载宠物图片，构建训练用的数据集。模型构建、训练和调优...

首先，TensorFlow 2.0已经正式发布很久啦，TensorFlow 2.0真香～我刚开始用TensorFlow的时候，还是1.4版本。有一说一，我觉得1.x版本的TensorFlow真心不怎么好用，虽然很灵活，但实现模型太过繁琐，接口很乱，还有很多冗余接口。后来刚接触到Keras，便觉得这是一股清流，Keras封装的接口非常简洁，你完全可以使用Keras以极快的速度完成模型的构建。但它...

写在最前面首先郑重声明，这个赚不了钱！赚不了钱！赚不了钱！重要的话说三遍！纯粹出于兴趣和技术做了个小实验，指望这个赚钱不太可能鸭！emmm，但可能会让你赔钱赔的少一点？转载请注明出处：https://blog.csdn.net/aaronjny/article/details/103276212前言以前从没买过彩票，前几天一时兴起，随机买了几注，然后兴致勃勃地等开奖。中奖序列出来后，比...

之前就打算写个爬虫教程，不过出于多种原因（工作、学习、生活各方面因素，但我觉得最主要原因是懒？），写了三篇博文之后，已经断更很久了……后来，看到CSDN在推GitChat，一时兴起，准备写个Chat，内容的话，选择了Python爬虫的入门教程。林林总总写了三万多字，个人认为讲得很清晰了，比较适合零基础、或基础薄弱的同学快速入门Python爬虫。只通过这篇文章，完全能达到入门Python爬虫的目的...

今天有个朋友问了我一个问题，如何使用Python读取大文件？觉得这个问题挺有意思的，就记录下来。大部分时间我们处理小文件的时候（1g以内？），可以直接用f.read()或readlines()直接把全部内容读取到内存里面来。但当文件非常大，比如10g,100g的时候，文件的大小一般已经超出了机器的内存大小，就没法直接按小文件的方式处理了。那应该怎么办呢？首先，选一个文件做演示，就用上一篇博客的...

这几天接手到了一个很老很老的项目，PHP的，里面的数据库地址不是同一配置的。有很多子站点，每个字站点又有自己的配置文件，这个时候，问题来了，要换数据库地址了！！！初闻这个问题，我整个人都是懵逼的，这不是搞我嘛？这么多改起来得多麻烦？但活儿还是得做啊，于是作为一名机智的大彩笔，我决定写个Python脚本解决这个问题。当然，这个问题可以被简单理解为，给定路径a，字符串列表b，字符串c，请将路径a...

假设，MySQL的连接信息如下：host: 192.168.1.4port: 3306user: rootpassword: mypassword现在，我们需要对这台服务器上的数据库进行备份。从MySQL导出数据需要用到mysqldump工具，不论写不写Python脚本。一、不编写Python脚本备份全部数据库数据到一个sql文件（包括了mysql、sys、information...

题目的大意如下：给定两个整数，被除数 dividend 和除数 divisor。将两数相除，要求不使用乘法、除法和 mod 运算符。返回被除数 dividend 除以除数 divisor 得到的商。简单来说，就是需要在不借助python内部的乘、除、去余运算的情况下，实现整数除法运算，并返回运算的商的。余数忽略。且在此之外，还有几点额外说明：除数永远不会为0。被除数和除数都是32位...

题外话：之前说了写了代码也不一定会写题解，因为懒，然后我就真的没写……题目断断续续坚持在做，这代码都是好早之前写的了，题解嘛……果然，我就是个鸽子，咕咕咕。反正你们应该也不需要我的题解，毕竟网上那么多，我就写着做个纪念。好了，说正题。题目的大意是：给定一个链表，你需要两两交换其中相邻的节点，并返回交换后的链表。但是你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。样例输...

一、Supervisor是什么？这是一个GitHub上5686 star（截至2019-09-30 13:57:24）的项目，下面给出项目在GitHub上的定义：Supervisor is a client/server system that allows its users to control a number of processes on UNIX-like operating s...

近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 HIVE ，而阿里云则提供了类似HIVE功能的商业云服务，称为 maxcompute 。今天记录一下使用maxcompute sql从数据中随机抽取n条样本的方法。假设有数据如下：idname1张三2李四3王五4龙傲天5李斩仙6赵日天我...

前不久，除CSDN的个人博客外，我使用solo自建了独立的 个人站点（ https://www.aaronjny.com/ ）。先感谢一下开源项目solo！！！此后，有新的博文我将同步在 csdn 和独立的个人站点 AaronJny同步更新，如果大佬你喜欢或者不喜欢的话，欢迎随时拍砖～另外，请大佬们眼熟我鸭！非常感激～...

前言最近在做一项功能，需要自动从招聘文本中提取技能需求关键词。然而问题来了，请看下面这句招聘需求：2、 熟练掌握SpringMVC、Srping、Mybetis或者hibernate，熟悉Jquery，EasyUI或者AngularJS；稍微仔细点看，比较熟悉Java的兄dei可能已经发现了，WTF？Spring、MyBatis哭晕在厕所……是哪家公司的我就不说了哈，影响不好，可能就...

在开发工作中，难免会遇到需要在保留相对顺序的情况下，对列表进行去重的需求。今天，就简单讲一下这个。“在保留相对顺序的情况下，对列表去重”是指什么？请看示例：给定列表1：a = [1,2,2,3,4,4,5,6,7,7]去重后输出：[1,2,3,4,5,6,7]给定列表2：b = [3,3,1,2,9,5,6,6,3,9,8,'a',5,'c','a']去重后输出：[3,1,...

最近碰到了一个需求，需要根据公司的名称，生成一个临时的logo，并以base64图片的形式在网页上显示。这个问题拆解一下，可以分为如下两个问题：显示什么？即公司名称中的哪一部分需要显示出来。怎么显示？即怎么把文字转成图片，并处理好排版问题。用python把文字转图片其实很好做，随便搜一下就能找到一大堆。我找到了一位大佬（Phodal Huang）的文字转图片的实现，本文中关于图片转文字的...

题目大意如下：给定k个有序链表，请将这k个列表合并成一个有序链表，然后返回这个有序列表的头结点。在python中，链表被这样实现：# Definition for singly-linked list.class ListNode: def __init__(self, x): self.val = x self.next = None样例输...

题目的大意如下：给定一个整数n，代表括号的对数，请给出所有合法的括号组合。样例输入：3样例输出：[“((()))”,“(()())”,“(())()”,“()(())”,“()()()”]题目链接：https://leetcode.com/problems/generate-parentheses/解题思路：生成n对括号，通过递归可以很轻松实现，问题的关键在...

考查列表操作的一道题，题目大意如下：给定一个链表，删除链表的倒数第 n 个节点，并且返回链表的头结点。样例输入：head = 1->2->3->4->5n = 2样例输出：1->2->3->5题目链接：https://leetcode.com/problems/remove-nth-node-from-end-of-list/e...

跟第15题、第16题比较相似的一道题，题目大意是说：给定一个包含n个整数的数组nums和一个整数target，从数组中找出所有不重复的四个数相加等于0的组合。注意，仅字典序不同的、包含数字相同的四元组被认为是重复的，只能保留其中一个。样例输入：nums = [1, 0, -1, 0, -2, 2]target = 0样例输出：[[-1, 0, 0, 1],[-2, -...

比较简单，直接深搜+回溯就能够解决的问题。题目的大意是：给定一个只包含2-9的字符串，按照手机按键的映射关系，将它转化为一个只包含a-z的字符串，输出这种所有可能的转换字符串。数字到小写字母的映射关系可以表示如下：digits_chr_map = { '2': 'abc', '3': 'def', '4': 'ghi', '...

这道题也比较简单，只是在第15题上加了一些变化。题目的大概意思是说：给定一个长度为n的整数数组nums和一个整数target，需要你从数组中找出三个数字，这三个数字相加的和与target最接近，返回这三个数字的和。样例输入：nums = [-1，2，1，-4]target = 1样例输出：2 (-1 + 2 + 1 = 2)题目链接：https://leetcode.co...

比较简单的一道题，题目的大意是说：给定一个长度为n的整数数组nums，从数组中找出所有不重复的 （三个数相加等于0的组合）。注意，仅字典序不同的、包含数字相同的三元组被认为是重复的，如（1，-1,0）和（0,1，,-1）被认为是重复的，只能保留其中一个。样例输入：[-1, 0, 1, 2, -1, -4]样例输出：[[-1, 0, 1],[-1, -1, 2]]输出...

2014年6月，博主高考。2014年9月，进入了合肥一个很普通的二本大学。2014年到2016年底，我每天泡在实验室里刷题= =。可能对很多人来说，这种生活很枯燥，但我还算乐在其中，有几个志同道合的朋友（特别感谢一个学长，在我成长过程中帮了我很多）。2014年-2016年间，参加过一些小比赛（省大学生程序设计竞赛、蓝桥杯全国大学生程序设计竞赛等），拿过一些小奖。都不是我想要的，毕竟目标只有A...

前言对于爬虫来说，当你的访问频率达到了目标网站的预警值时，就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。当ip被封禁后，从此ip发出的请求将不能得到正确的响应。这种时候，我们就需要一个代理ip池。什么是代理ip池？通俗地比喻一下，它就是一个池子，里面装了很多代理ip。它有如下的行为特征：1.池子里的ip是有生命周期的，它们将被定期验证，其中失效的将被从池子里面...

PS:这篇博文主要讨论思路、方法，有细节伪代码，但没有完整实现代码。如果有时间，后面会专门写一篇实现的博文，附上完整代码。转载请注明出处：https://blog.csdn.net/aaronjny/article/details/84899262scrapy应该算是当下最流行、也最受欢迎的python爬虫框架了。利用scrapy，爬虫工程师可以快速开发高效的爬虫程序。scrapy默认是单...

之前一直是用python2.7做开发的，近期想将工作迁移到python3上去，毕竟还是要拥抱变化的，python3大势所趋。我在阿里云的主机安装的系统是ubuntu 16.04，上面的python3版本默认为python3.5。但有不少用起来相当爽的特性是python3.6才支持的，就打算将python3.5换成3.6。在成功安装python3.6后，准备安装scrapy时，又是一大波坑袭来。...

什么是crontab? crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语 chronos(χρνο)，原意是时间。通常，crontab储存的指令被守护进程激活， crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cro...

使用python做爬虫的时候，难免会碰到一些必须使用浏览器进行模拟的情况，这里总结一下在python下使用selenium调用phantomjs时，一些常见的坑。以下的一切建立在类ubuntu系统上，其他系统上不清楚，仅供参考。QXcbConnection安装好Phantomjs后，在命令行里运行一下，发现报错了，阅读报错信息大概是环境出了问题，可以通过如下方法解决。使用vim或者ge...

python爬虫入门教程(三)：淘女郎爬虫 ( 接口解析 | 图片下载 )时隔好久，爬虫教程终于更新了。不好意思啊= =这篇教程主要讲如何将网络上的图片保存到本地来，以及如何利用接口解析完成动态页面的抓取。本来是想依然用“妹子图”站点来演示的，结果点击去一看，没想到只过去一年，里面的图片却尺度越来越大了。。。还是算了。看了一下，还是用“淘女郎”来演示吧，这也是一个用的比较多的例子。...

在windows上编译webrtc过程及踩坑 什么是webrtc？ 百度百科：WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。2011年5月开放了工程的源代码，在行业内得到了广泛的支持...

scikit-learn在Kaggle Titanic数据集上的简单实践（新手向）Titanic乘客生存预测是Kaggle上的一项入门竞赛，即给定一些乘客的信息，预测该乘客是否在Tatanic灾难中幸存下来。 什么是Kaggle？ 给出百度百科的定义作为参考：Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（Anthony Goldbloom）2010年在墨尔本创立的...

使用VGG19迁移学习实现图像风格迁移一直想要做个图像风格迁移来玩玩的，感觉还是蛮有意思的。所谓图像风格迁移，即给定内容图片A，风格图片B，能够生成一张具有A图片内容和B图片风格的图片C。比如说，我们可以使用梵高先生的名画《星夜》 作为风格图片，来与其他图片生成具有《星夜》风格新图片。emmm，夭寿啦，机器帮你画世界名画啦。。。举两个生成的例子：均使用《星夜》作为风格图片（可以...

基于循环神经网络(RNN)的古诗生成器之前在手机百度上看到有个“为你写诗”功能，能够随机生成古诗，当时感觉很酷炫= =在学习了深度学习后，了解了一下原理，打算自己做个实现练练手，于是，就有了这个项目。文中如有瑕疵纰漏之处，还请路过的诸位大佬不吝赐教，万分感谢！使用循环神经网络实现的古诗生成器，能够完成古体诗的自动生成。我简单地训练了一下，格式是对上了，至于意境么。。。emmm，呵呵...

使用循环神经网络(RNN)实现影评情感分类作为对循环神经网络的实践，我用循环神经网络做了个影评情感的分类，即判断影评的感情色彩是正面的，还是负面的。选择使用RNN来做情感分类，主要是因为影评是一段文字，是序列的，而RNN对序列的支持比较好，能够“记忆”前文。虽然可以提取特征词向量，然后交给传统机器学习模型或全连接神经网络去做，也能取得很好的效果，但只从端对端的角度来看的话，RNN无疑是最合...

深度学习环境tensorflow-gpu 1.4安装过程记录换了个小米笔记本用来办公，内置win10，因为硬盘容量较小，搭建linux双系统的想法只好暂时搁置，忍着用了几个月。前几天买了块硬盘，升级了一下笔记本，这下终于可以装上双系统了，程序猿还是觉得linux用起来舒服啊（打游戏除外…）= =本来打算装ubuntu的，但是偶然间发现了国内团队做的deepin linux，感觉很赞啊，...

python爬虫入门教程，介绍编写一个简单爬虫的过程。

python爬虫（数据采集）入门教程

创建时间：2017.03.15前言 有电脑给手机开热点的需求，但是换用了ubuntu系统后，很多东西不会弄，查阅了不少资料后，找到了一个切实可靠的方法。设置方法 打开桌面右上角网络管理器，选择编辑连接。 在弹出来的网络连接窗口中，点击增加。 在弹出来的选择连接类型的窗口中，选择Wi-Fi。 在弹出来的编辑页面中，选择Wi-Fi选项，在连接...

为python爬虫设置headers，包括urllib和phantomjs两种情况。

创建时间：2016.12.22unbuntu下eclipse顶部菜单栏消失 创建一个eclipse.sh文件，在里面写入 export UBUNTU_MENUPROXY=0 /usr/bin/eclipse 其中/usr/bin/eclipse为你的eclipse安装目录，然后在终端输入sh eclipse.sh即可eclipse 插件安装...