- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 记录下spring cloud gateway + nacos做服务注册发现的一点小问题
spring cloud gateway 路由配置中：uri: lb后面的服务名中不能使用 _ ，例如 "uri": "lb:demo_server_py" gateway就会报主机解析异常，因此，服务在注册到注册中心时，服务名不能包含 _注： 对java了解不多，因此只能看到表象，如果解释理解有误，请及时纠正我python 使用nacos注册服务，需要定时发送心跳：服务注册方法：import nacosclient = nacos.NacosClient(se...
2021-04-02 18:27:03
824
1
转载 from __future__ import unicode_literals
当你在查看一些python源码或者其他人的代码的时候，经常会在.py 的文件里看到 from __future__ import unicode_literals 在Python中有些库的接口要求参数必须是str类型字符串，有些接口要求参数必须是unicode类型字符串。对于str类型的字符串，调用len()和遍历时，其实都是以字节为单位的，这个太坑爹了，同一个字符使用不同的编码格式，长度往...
2018-11-21 10:24:12
226
原创 Django+rest_framework+drf_yasg 生成swaggers在线API文档
Django+rest_framework+drf_yasg 生成swaggers在线API文档背景技术路线相关版本第一步：新建一个Django项目第二步：新建一个APP第三步：修改settings.py第四步：修改news/下修改views.py第五步：news/下新建urls.py并添加以下内容第六步：修改DjangoDrfTest/urls.py第七步：运行managy.py一些配置项参数...
2018-11-20 18:28:38
12641
8
转载 Windows下单机安装Spark开发环境
Windows下单机安装Spark开发环境机器：windows 7 64位。因Spark支持java、python等语言，所以尝试安装了两种语言环境下的spark开发环境。1、Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\
2016-09-23 15:06:23
479
原创 selenium2.x python 虚拟浏览器 搭建与使用
1.python 安装不做赘述。2.selenium2.x 安装方法。 下载setuptools 【python 的基础包工具】 http://pypi.python.org/pypi/setuptools 下载pip 【python 的安装包管理工具】 https://pypi.python.org/pypi/pip 1、python 的
2015-12-02 17:01:47
786
原创 ubuntu 12.04 hadoop 单机模式平台搭建
一，hadoop 需要java 支持，所以，java jdk 是必须要装的，因为我是ubuntu 12.04 64位，所以在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载linux x64版本（164兆那个）二，在Ubuntu下创建hadoop用户组和用户
2015-06-29 15:09:46
434
原创 爬虫过程中经常遇到的一些棘手问题
先写一些已经遇到，并已解决的，后面慢慢增添：1.中文字符串前面加u,让字符串可以正常输出为中文： 有时候我们从其它地方接受的字符串经过艰难跋涉，它变了个样。比如收到的是'\u6253\u602a\u8005'而不是u'\u6253\u602a\u8005'。明明肉眼看起来只需要加个u，但是怎么加呢？>>s = '\u6253\u602a\u8005'>>s'\\u6253\
2015-06-25 16:50:55
4745
转载 【转帖】使用python爬虫抓站的一些技巧总结：进阶篇
一、gzip/deflate支持 现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-encoding’，然后读取response后更要检
2015-06-12 14:23:26
1778
原创 python 百度地图信息采集实例（包含经纬度）
通过搜索关键词：如佛山市高明市 写字楼，获取该区写字楼信息，由于百度地图搜索最多只能见750条，所以采用了细化搜索词的方法，，
2015-05-13 10:31:26
5114
1
转载 python 爬虫完美伪装
#coding:utf-8'''Created on 2012-6-25@author: lzs''' import randomimport socketimport urllib2import cookielibERROR = { '0':'Can not open the url,checck you net',
2015-03-17 16:51:29
650
原创 调用火狐浏览器模拟天猫搜索并遍历一百页商品（速度较慢，但不会遇到反爬机制和验证码）
# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport hashlibimport randomimport urllibfrom time import ctime,sleepclass ScrapyPage
2015-03-04 17:27:50
1026
原创 简单的模拟天猫搜索 并遍历一百页商品（会遇到反爬机制）
#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia
2015-03-04 17:24:24
1588
原创 模拟天猫搜索，并遍历一百页商品代码（会遇到反爬链）
#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia
2015-03-04 17:20:52
798
转载 ubuntu安装Scrapy
Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 官网网站http://www.scrapy.org/1、安装如下软件sudo apt-get install build-essential;sudo apt-get install py
2014-10-18 17:32:35
560
转载 Ubuntu 13.04 解决 QQ 问题：pidgin-lwqq 亲测可用
好吧，虽然我并不喜欢 QQ，事实上，当年之所以申请一个 QQ 帐号还是因为同学们都在用他…我很希望大家都不怎么使用他，用邮箱多好，但是没办法，腾讯成功的抓住了我身边的人们，他们离不开 QQ，于是乎，我也离不开 QQ 了… 之前一直在想，怎么解决 linux 中使用 QQ 的问题，老是用 webQQ 也不是一个办法，太麻烦了，总是开着一个网页，就是觉得不爽。在 wine 中使用 QQ 就不说
2014-10-12 11:00:53
549
pycrypto-2.6.1.zip
2021-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人