- 博客(82)
- 收藏
- 关注
RSS订阅
原创 10x程序员工作法笔记
持续更新，最近更新时间：2019.10.28简介我在某平台上学习10x程序员工作法，特此记录下我结合工作中实际情况对10x程序员工作法的理解与总结目录页面开篇词作为程序员，我们将其看作一个值得全情投入的职业，希望能够把精力放在设计算法、改进设计、优化系统这些具有创造性与成就感的本职工作上。两个概念：本质复杂度（Essential Complexity）和偶然复杂度（Accident C...
2019-10-31 16:45:48
1054
原创 爬虫案例三：IP限制
爬取网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...
2019-09-30 22:37:59
619
原创 爬虫需要注意的常见事项
前言注意事项构造合理的 HTTP 请求头设置合理的cookie爬虫访问速度和路径的控制避免进入蜜罐注意网页隐藏的信息使用可变IP我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...
2019-09-30 22:31:27
1556
原创 Windows下Tomcat的安装与使用
简介Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet 和JSP 规范总是能在Tomcat 中得到体现，Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、...
2019-09-04 20:33:28
645
原创 Windows下Maven的安装与使用
简介Maven 翻译为"专家"、“内行”，是 Apache 下的一个纯 Java 开发的开源项目。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。Maven 是一个项目管理工具，可以对 Java 项目进行构建、依赖管理。Maven 也可被用于构建和管理各种项目，例如 C#，Ruby，Scala 和其他语言编写的项目。Maven 曾...
2019-08-31 23:44:15
360
原创 Windows下Scala的安装与配置
简介Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。下载官网地址：https://www.scala-lang.org/下载地址：安装包：ht...
2019-08-31 23:22:00
800
翻译 巧用RoboCopy工具
12/100ychgyyn介绍：Robocopy.exe 是 微软在Windows server 2003 Resource Kit Tools 里面提供的程序来做备份的，现在Windows Vista系统中已经自带了这个命令行程序。参数详细说明Usage：ROBOCOPY source destination [file [file]…] [options]用法：ROBOCOPY ...
2019-06-22 20:59:59
2971
原创 Linux下安装Docker
Docker：Docker简介下载Docker安装环境配置安装Docker注意事项Docker简介：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。...
2020-11-25 18:05:09
740
原创 酷狗音乐网站前端JS的逆向过程
事件背景前不久我写了一个按歌手爬取酷狗音乐所有歌曲的爬虫，然后在昨天2019年5月10日使用的时候出现了错误，排查问题后发现是获取歌曲相关信息的那个接口做了修改，导致我原有的爬虫失效。在测试后发现，在原有的基础上需要携带Cookie里面的kg_mid参数才能正常获取，然后我去浏览器里面查看页面刷新出来的请求，发现kg_mid参数是浏览器生成的而不是服务器返回的，所以就开始了逆向破解前端JS的过程...
2020-05-31 20:54:37
5259
4
原创 Pycharm运行Flask项目指定运行参数
背景某天使用Pycharm开发Flask项目时运行app.py时，没有按照预期的运行监听外网IP和打开开发模式，代码如下：from flask import Flask app = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World'if __name__ == "__main__":...
2020-04-21 19:26:17
2785
1
原创 Flask打开调试模式
调试模式Flask支持本地开发，但是每次修改代码后需要手动重新启动程序，这不是很友好，事实上Flask支持调试模式来做到更好，Flask服务会在代码更改时自动重新加载，如果出现问题，还能提供调试器以供调试如何设置要启用所有开发功能（包括调试模式），可以 在运行服务器之前导出FLASK_ENV环境变量并将其设置为development：export FLASK_ENV=devel...
2020-04-19 22:12:47
1079
原创 Splash添加headers报错：'headers' must be either a JSON array of (name, value) pairs or a JSON object
背景最近在测试爬虫的Splash方案，虽然已经实现了Selenium版方案，但是觉得配环境比较麻烦不适合分布式的场景，然后发现Splash是服务的形式提供一个接口访问，形式上类似走一层代理，对原有代码改动少，所以就开始测试过程，加代理已经实现，但是加headers时报错。报错请求请求render.html接口请求方式：GETURL：http://127.0.0.1:8050/render...
2020-04-15 15:59:34
579
原创 Flask的安装与简单使用
简介Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask使用 BSD 授权。Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。环境准备Python3.XWindows10...
2020-04-14 11:19:46
27997
5
原创 毕设淘宝用户行为推荐（一）：数据来源介绍
淘宝用户数据数据来源：阿里云天池：阿里妈妈提供的数据集数据集介绍：文件描述特征UserBehavior.csv用户所有行为数据用户ID，商品ID、类别ID、行为类型、时间戳UserBehavior.csv我们随机选择约100万用户，这些用户在2017年11月25日至12月3日之间具有点击，购买，向购物车中添加商品和偏好商品的行为。数据集的组织形式与Mo...
2020-04-07 11:51:22
2598
2
原创 更新PyYAML失败：ERROR: Cannot uninstall 'PyYAML'
前言上周我在运行一个历史项目的时候，因为使用了pyyaml模块读取yaml配置文件，然后总是弹出以下警告：因为强迫症，所以想不显示，最后找到解决办法，加一个解析器一样的配置即可，本来公司电脑已经搞定了，可是我回家运行的时候发现，提示该配置不存在，然后我观察了一下公司与家里电脑PyYAML的版本，一个是3.x，一个是5.x。然后就开始升级的过程，结果又报一个错误：ERROR: Cannot un...
2019-12-16 00:11:36
8720
6
原创 机器学习简单入门：线性回归
import numpy as np#原始数据X=[ 1 ,2 ,3 ,4 ,5 ,6]Y=[ 2.6 ,3.4 ,4.7 ,5.5 ,6.47 ,7.8]#用一次多项式拟合，相当于线性拟合z1 = np.polyfit(X, Y, 1)p1 = np.poly1d(z1)print (z1) #[ 1. 1.49333333]print (p1) # 1...
2019-11-30 23:42:28
448
原创 Maven项目POM文件参数详解
内容源自网上，留做笔记<project xmlns="http://maven.apache.org/POM/4.0.0 " xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance " xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.a...
2019-11-12 15:55:58
2443
原创 Python如何使用YAML
简介YAML（/ˈjæməl/，尾音类似camel骆驼）是一个可读性高，用来表达数据序列化的格式。YAML参考了其他多种语言，包括：C语言、Python、Perl，并从XML、电子邮件的数据格式（RFC 2822）中获得灵感。Clark Evans在2001年首次发表了这种语言，另外Ingy döt Net与Oren Ben-Kiki也是这语言的共同设计者。当前已经有数种编程语言或脚本语言支持（...
2019-11-07 16:45:40
1568
原创 Python的ORM框架：SQLAlchemy
什么是ORM对象关系映射（Object Relational Mapping，简称ORM）是通过使用描述对象和数据库之间映射的元数据(描述数据的数据)，将面向对象语言程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 这也同时暗示着额外的执行开销；然而，如果ORM作为一种中间件实现，则会有很多机会做优化，而这些在手写的持久层并不存在。 更重要的是用于控制转换的元...
2019-10-31 23:43:56
527
转载 HTTP基本原理
转自进击的Coder公众号的文章：HTTP基本原理 URI、URL概念URI 全称为 Uniform Resource Identifier，即统一资源标志符URL 全称为 Universal Resource Locator，即统一资源定位符区别URL 是 URI 的子集，也就是说每个 URL 都是 URI，但不是每个 URI 都是 URLURI 还包括一个子类叫做 URN，...
2019-10-29 17:56:58
630
原创 PyCharm下如何使用Git
添加SSH公钥任何基于Git的在线代码托管平台都需要配置电脑的SSH公钥以GitHub为例，在个人设置里面找到对应的位置，点击添加按钮，将电脑用户目录下的.ssh文件夹里的id_rsa.pub文件里面的值复制输入进去，设置一个名字就添加成功了利用PyCharm克隆项目打开PyCharm，如果你原来有项目的话，依次点击左上角的File->Close Project，如果没有直接...
2019-10-24 20:31:43
3861
原创 Windows下Git的安装与使用
简介Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。 Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。下载网址：https://git-scm.com/download/win安装双击下载后的安装包因为过程比较简单，基本上不停的点下一步就好了可以选择不同的安装路径安装中...
2019-10-16 19:47:39
522
原创 爬虫案例二：分页
爬取题目网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...
2019-09-30 22:36:14
1047
原创 爬虫案例一：基础
爬取题目网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...
2019-09-30 22:34:36
1773
原创 Windows下Eclipse的安装与使用
简介Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。下载...
2019-08-31 23:48:07
804
原创 Linux下Scala的安装与配置
简介Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。下载官网地址：https://www.scala-lang.org/下载地址：https://...
2019-08-22 09:28:00
9381
原创 云服务器的购买及搭建
属于自己的24小时不宕机服务器作为一个程序员，如果你想将成果放到网站上让别人鉴赏，想要将某些程序部署到服务器上面让它一直运行，想要搭建自己的博客网站，想要更多的骚操作，我觉得你需要买一台服务器。首先你需要在腾讯云注册一个账号，注册成功后点击购买链接...
2019-08-06 22:08:37
2282
1
原创 Python如何发送邮件
前言今天我在构思软件的需求时，发现一个功能，完成某项操作时需要通知我，然后想了想发邮件与短信是比较流行的方式，可是短信还是需要钱钱的，所以我选择了邮件通知。邮件通知的应用除了通知，还有验证用户信息等等其他功能，接下来我们开始实现Python发送邮件模板import smtplibfrom email.mime.text import MIMETextfrom email.utils...
2019-08-01 19:41:26
303
原创 Redis Desktop Manager的安装
介绍Redis Desktop Manager（又名RDM） - 是适用于Windows，Linux和MacOS的快速开源Redis数据库管理应用程序。该工具为您提供了一个易于使用的GUI，可以访问您的Redis数据库并执行一些基本操作：将键视为树，CRUD键，通过shell执行命令。RDM支持SSL / TLS加密，SSH隧道和云Redis实例，例如：Amazon ElastiCache，M...
2019-07-31 11:50:55
1353
原创 Windows下redis的安装与配置
Redis简介Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。Django中经常用它来提升数据查询性能。下面与大家一起学习如何在Linux下安装与使用redis。Redis下载...
2019-07-31 00:30:15
1804
1
原创 Windows下PyCharm的安装与使用
简介PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。环境Python：Windows10下安装Anaconda3(64位)详细过程...
2019-07-29 07:11:36
1265
原创 Python连接Redis数据库插入数据出现错误：DataError: Invalid input of type: 'NoneType'
错误提示DataError: Invalid input of type: 'NoneType'. Convert to a byte, string or number first.运行截图原因Python的第三方库redis升级到3.0后仅接受用户数据为字节、字符串或数字（整数，长整数和浮点数）。尝试将键或值指定为任何其他类型将引发DataError异常。解决办法方法一：...
2019-07-01 17:44:55
11935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人