- 博客(15)
- 资源 (1)
- 收藏
- 关注
原创 记录下spring cloud gateway + nacos做服务注册发现的一点小问题
spring cloud gateway 路由配置中:uri: lb后面的服务名中不能使用 _ ,例如 "uri": "lb:demo_server_py" gateway就会报主机解析异常,因此,服务在注册到注册中心时,服务名不能包含 _注: 对java了解不多,因此只能看到表象,如果解释理解有误,请及时纠正我python 使用nacos注册服务,需要定时发送心跳:服务注册方法:import nacosclient = nacos.NacosClient(se...
2021-04-02 18:27:03
827
1
转载 from __future__ import unicode_literals
当你在查看一些python源码或者其他人的代码的时候,经常会在.py 的文件里看到 from __future__ import unicode_literals 在Python中有些库的接口要求参数必须是str类型字符串,有些接口要求参数必须是unicode类型字符串。对于str类型的字符串,调用len()和遍历时,其实都是以字节为单位的,这个太坑爹了,同一个字符使用不同的编码格式,长度往...
2018-11-21 10:24:12
228
原创 Django+rest_framework+drf_yasg 生成swaggers在线API文档
Django+rest_framework+drf_yasg 生成swaggers在线API文档背景技术路线相关版本第一步:新建一个Django项目第二步:新建一个APP第三步:修改settings.py第四步:修改news/下修改views.py第五步:news/下新建urls.py并添加以下内容第六步:修改DjangoDrfTest/urls.py第七步:运行managy.py一些配置项参数...
2018-11-20 18:28:38
12717
8
转载 Windows下单机安装Spark开发环境
Windows下单机安装Spark开发环境机器:windows 7 64位。因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。1、Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\
2016-09-23 15:06:23
480
原创 selenium2.x python 虚拟浏览器 搭建与使用
1.python 安装不做赘述。2.selenium2.x 安装方法。 下载setuptools 【python 的基础包工具】 http://pypi.python.org/pypi/setuptools 下载pip 【python 的安装包管理工具】 https://pypi.python.org/pypi/pip 1、python 的
2015-12-02 17:01:47
790
原创 ubuntu 12.04 hadoop 单机模式平台搭建
一,hadoop 需要java 支持,所以,java jdk 是必须要装的,因为我是ubuntu 12.04 64位,所以在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载linux x64版本(164兆那个)二,在Ubuntu下创建hadoop用户组和用户
2015-06-29 15:09:46
436
原创 爬虫过程中经常遇到的一些棘手问题
先写一些已经遇到,并已解决的,后面慢慢增添:1.中文字符串前面加u,让字符串可以正常输出为中文: 有时候我们从其它地方接受的字符串经过艰难跋涉,它变了个样。比如收到的是'\u6253\u602a\u8005'而不是u'\u6253\u602a\u8005'。明明肉眼看起来只需要加个u,但是怎么加呢?>>s = '\u6253\u602a\u8005'>>s'\\u6253\
2015-06-25 16:50:55
4751
转载 【转帖】使用python爬虫抓站的一些技巧总结:进阶篇
一、gzip/deflate支持 现在的网页普遍支持gzip压缩,这往往可以解决大量传输时间,以VeryCD的主页为例,未压缩版本247K,压缩了以后45K,为原来的1/5。这就意味着抓取速度会快5倍。然而python的urllib/urllib2默认都不支持压缩,要返回压缩格式,必须在request的header里面写明’accept-encoding’,然后读取response后更要检
2015-06-12 14:23:26
1784
原创 python 百度地图信息采集实例(包含经纬度)
通过搜索关键词:如佛山市高明市 写字楼,获取该区写字楼信息,由于百度地图搜索最多只能见750条,所以采用了细化搜索词的方法,,
2015-05-13 10:31:26
5119
1
转载 python 爬虫完美伪装
#coding:utf-8'''Created on 2012-6-25@author: lzs''' import randomimport socketimport urllib2import cookielibERROR = { '0':'Can not open the url,checck you net',
2015-03-17 16:51:29
650
原创 调用火狐浏览器模拟天猫搜索并遍历一百页商品(速度较慢,但不会遇到反爬机制和验证码)
# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport hashlibimport randomimport urllibfrom time import ctime,sleepclass ScrapyPage
2015-03-04 17:27:50
1028
原创 简单的模拟天猫搜索 并遍历一百页商品(会遇到反爬机制)
#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia
2015-03-04 17:24:24
1592
原创 模拟天猫搜索,并遍历一百页商品代码(会遇到反爬链)
#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia
2015-03-04 17:20:52
801
转载 ubuntu安装Scrapy
Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 官网网站http://www.scrapy.org/1、安装如下软件sudo apt-get install build-essential;sudo apt-get install py
2014-10-18 17:32:35
564
转载 Ubuntu 13.04 解决 QQ 问题:pidgin-lwqq 亲测可用
好吧,虽然我并不喜欢 QQ,事实上,当年之所以申请一个 QQ 帐号还是因为同学们都在用他…我很希望大家都不怎么使用他,用邮箱多好,但是没办法,腾讯成功的抓住了我身边的人们,他们离不开 QQ,于是乎,我也离不开 QQ 了… 之前一直在想,怎么解决 linux 中使用 QQ 的问题,老是用 webQQ 也不是一个办法,太麻烦了,总是开着一个网页,就是觉得不爽。在 wine 中使用 QQ 就不说
2014-10-12 11:00:53
553
pycrypto-2.6.1.zip
2021-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人