2019年05月_前端-小姚

转载什么是光栅化

光栅化是将一个图元转变为一个二维图像的过程。二维图像上每个点都包含了颜色、深度和纹理数据。将该点和相关信息叫做一个片元（fragment）。光栅化的目的，是找出一个几何单元（比如三角形）所覆盖的像素。粗略地讲：你模型的那些顶点在经过各种矩阵变换后也仅仅是顶点。而由顶点构成的三角形要在屏幕上显示出来，除了需要三个顶点的信息以外，还需要确定构成这个三角形的所有像素的信息。光栅化就是干这个的：光...

2019-05-29 09:02:00 9351

原创 PyCharm中关于安装第三方包的问题

一、常用镜像源然而这个正常步骤，在很多时候并不能安装成功，多数是因为网络被限制的原因，在这里提供一种方法，可以解决大部分情况下的安装问题，那就是修改下载来源。方法是在“Manage Repositories”中，修改数据来源，默认的是 “https://pypi.python.org/simple”，我们可将其替换为如下的几个数据来源，这些都是国内的pip镜像：清华：https://p...

2019-05-23 18:00:51 5447

原创 tornado中从客户端向服务器发送数据的方式

这篇文章比较详细：https://www.cnblogs.com/hello-/articles/9381424.html大体可以分为这几种方式：1、类似django，正则匹配2、获取查询字符串，get_query_argument()3、获取请求体，get_body_argument()4、方式2和3整合，get_argument()5、如果是发送文件，比如照片，通过request...

2019-05-19 20:48:27 656

转载 ps -ef | grep xxx 解释

上述内容为：命令拆解：ps:将某个进程显示出来-A 　显示所有程序。-e 　此参数的效果和指定"A"参数相同。-f 　显示UID,PPIP,C与STIME栏位。grep命令是查找中间的|是管道命令是指ps命令与grep同时执行这条命令的意思是显示有关Apachejetspeed有关的进程UID PID PPID C STIME TTY TIME CMD 各相关信息的意义：...

2019-05-19 11:49:23 3059

原创 Cesium：APP实现存在的问题

转自https://blog.csdn.net/danfengw/article/details/52794625申请BingMapKey

2019-05-17 19:23:33 955

原创 cesium--从github上面下载源代码环境搭建

从cesium官网上下载源码太慢，是真的慢。。。选择从github上下载源码，不过需要配置一下，修改source源码（汉化），然后编译生成build文件。1、下载源码地址：https://github.com/AnalyticalGraphicsInc/cesium2、安装编译环境1）安装node.js，安装完成后在cmd里依次执行node –v，npm –v命令，检查node和npm环...

2019-05-17 18:49:17 5222

原创将爬虫数据存放到数据库中

爬虫获取的数据可以存放到本地，也可以直接存放的指定的数据库。1、存放到本地中，pipeline文件代码：import jsonclass DongguanPipeline(object): def __init__(self): self.filename = open("xxx.json", "wb") def process_item(self, it...

2019-05-15 20:27:01 4613

原创模型的选择与评优

1、交叉验证：为了让被评估的模型更加准确可信交叉验证：将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。2、网格搜索很多情况下，有很多参数是需要手动指定的（比如k近邻算法的k值），也就是超参数，不过手动输入很麻烦。每组超参数都采用交叉验证来进行...

2019-05-15 09:28:44 397

转载 PPP IP 、以太网IP及无线局域网IP分析

可参考：https://blog.csdn.net/qianxing111/article/details/79893851

2019-05-12 20:44:14 1107

原创 ascii、unicode、utf-8、gbk编码

一、字符集：ascii是一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的信息交换标准，并等同于国际标准ISO/IEC 646ISO-8859-1 通常叫做Latin-1，向下兼容ASCII，此字符集支持部分于欧洲使用的语言GB2312/GBK 这就是汉字的国标码，专门用来表示汉字，是双字节编码，而英文字母和iso8859-1一致（兼容iso8859-1编码）。其中g...

2019-05-12 11:04:01 503

原创运行爬虫时遇到ModuleNotFoundError: No module named 'win32api'

windows系统上出现这个问题的解决需要安装Py32Win模块，但是直接通过官网链接装exe会出现几百个错误，更方便的做法是pip install pypiwin32

2019-05-12 09:42:05 656

原创 AttributeError: 'NoneType' object has no attribute 'get'

最近爬虫知乎遇到的问题：AttributeError: ‘NoneType’ object has no attribute ‘get’意思是这个对象是空对象None，因此也就没有get属性。完成程序如下：#!/usr/bin/env python# -*- coding:utf-8 -*-from bs4 import BeautifulSoupimport requestsi...

2019-05-06 16:14:39 24563

原创 TypeError: write() argument must be str, not bytes报错

最近在爬取拉勾网城市json文件遇到问题：TypeError: write() argument must be str, not bytespython2中可以写入二进制文件with open("lagoucity.json", "w") as f: f.write(array.encode("utf-8"))但使用Python3会报错TypeError:must be ...

2019-05-06 14:40:35 9321 2

原创 User-Agent和代理IP的使用

为什么使用user-agent?很多网站默认禁止爬虫，需要用户代理为什么使用代理IP？如果一个IP访问的频率太高，会被封掉转：https://www.cnblogs.com/paisenpython/p/10270910.html...

2019-05-05 16:52:05 458

processing