- 博客(6)
- 收藏
- 关注
RSS订阅原创 python配置镜像源
pip安装问题：There was a problem confirming ssl certificatepip install 安装第三方插件是出现Could not fetch URL https://pypi.python.org/simple/pool/: There was a problem confirming ssl certificate问题解决办法如下：在python安装目录下创建pip.ini，pip.ini配置内容如下：[global] index-url=http:/
2021-02-04 19:54:30
207
原创 Python使用ORM控制MongoDB（MongoEngine）
简介：MongoEngine是一个对象文档映射器（ODM），相当于一个基于SQL的对象关系映射器（ORM）pymongo来操作MongoDB数据库，但是直接把对于数据库的操作代码都写在脚本中，这会让应用的代码耦合性太强，而且不利于代码的优化管理一般应用都是使用MVC框架来设计的，为了更好地维持MVC结构，需要把数据库操作部分作为model抽离出来，这就需要借助MongoEngine,MongoEngine提供的抽象是基于类的，创建的所有模型都是类我们可以跟关系型数据库的Python客户端MySQLd
2021-02-04 19:47:21
848
原创 python 爬虫简介
爬虫是什么？就是一段可以帮助人类浏览网页/app/小程序并且从网页/app/小程序中抽取所需数据的代码为什么需要爬虫？爬虫的用途？为什么用python？1. 自动化获取数据，减少人力2. 解决大数据数据源的问题3. 数据分析与数据挖掘的数据源4. 搜索引擎需要采集数据作为数据源 百度 谷歌5. 胶水语言 调用各种库 其他语言（java php js）爬虫的分类1. 通用爬虫（大而全） 功能强大，采集面广，用于搜索引擎2. 聚焦爬虫（小而精） 功能单一（只针对特定网站，特点
2020-10-13 14:02:22
311
原创 js船讯 逆向
船讯网js// document.write("<script language='javascript' src='ElaneMap.min.js'></script>");var keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";// function decode64(_0x2973a6) {// var _0x49a411, _0x167b3a, _0x2e
2020-10-10 15:41:55
1799
原创 chunxunnet
## 船讯网数据抓取import jsonimport execjsimport requestsimport timefrom pymongo import MongoClient# from Gangkou_net import tools''' 船讯网只能通过mmsi获取其对应的轨迹信息'''class Tools(): @staticmethod def calculate_track(lon, lat): ''' 经纬
2020-10-10 15:40:16
12774
原创 chinagangkou
抓取中国港口网数据import jsonimport timeimport random# import base64import datetimeimport schedulefrom pymongo import MongoClientfrom datetime import datetime# from urllib.parse import urlencode# import execjsimport requests# import csv# from lxml impo
2020-10-10 15:38:19
353
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人