- 博客(20)
- 收藏
- 关注
RSS订阅原创 学习 go-micro 框架
go-micro 学习服务发现-微服务开发中的核心有服务发现后，client、server工作流程每个server启动时，都将自己的ip、port和服务名注册给“服务发现”当client向服务发现发起服务请求时，“服务发现”会自动找一个可以用的服务。将其IP/port服务名返回给client。client再借助服务发现，访问server。服务发现的种类：consul:常用语go-micro中。mdns:go-mirco中默认自带的服务发现。etcd:k8s内嵌的服务发现。consul
2021-08-20 10:43:21
264
原创 bug之使用go mod的问题
go mod 使用方法因为使用 go get 下载的包都进入到了pkg该模式是 默认为 go mod开启状态，主要的环境变量参数是GO111MODULE="on"#开启是 on 关闭是 off 自动是 auto使用命令在文件夹下 使用 mod 模式go mod init <文件夹名称>使用了 go mod模式程序运行没有问题，但是goland没有import包都是爆红，这样的问题就会导致编程没有办法智能提示。解决方法：参考解决办法...
2021-08-09 16:49:43
193
原创 2021-08-08
grpc的学习官方网站 https://www.grpc.io/安装：方法一：go get -u -v google.golang.org/grpc方法二：git clone https://github.com/grpc/grpc-go.git $GOPATH/src/google.golang.org/grpcgit clone https://github.com/golang/net.git $GOPATH/src/golang.org/x/netgi
2021-08-08 22:05:48
103
原创 protobuf 学习的过程和坑
protobuf 注册RPC服务protobuf学习protobuf 安装测试是否安装成功protobuf编译命令protobuf 注册rpcprotobuf学习protobuf 安装下载方法一:===> git clone https://github.com/protocolbuffers/protobuf.git方法二:===> 或者将准备好的压缩包进行拖入 解压到$GOPATH/src/github.com/protocolbuffers/下面 Unzip protobu
2021-08-08 18:10:01
184
原创 续~pandas按某列的时间值进行筛选
我之前爬了智联的信息，因为需要找工作，爬了好几天的，但是我发现，几天前的都不理会你的简历，所以我就用pandas按时间进行筛选。很简单的一段程序，但是我们这行就是学一点记一点会一点。一般科技公司是不允许你带优盘把你曾经的工作成品拷贝走的，被发现的话，后果更严重，再说还有监控。 import pandas as pdimport numpy as npf = open("智联大连pyt...
2018-09-14 10:00:04
13445
10
原创 谷歌翻译
import logging#from nose.tools import (eq_, with_setup)from fake_useragent import UserAgentimport requests#import threadingua=UserAgent()#import re#import requests_cache#requests_cache.confi...
2018-09-13 08:30:07
329
原创 中国新闻网
# -*- coding: utf-8 -*-import osimport reimport threadingimport time,datetimefrom lxml import etreeimport pandas as pdimport pyodbcimport requestsfrom pybloom_live import BloomFilterfrom fa...
2018-09-13 08:29:29
266
转载 清洗数据
# -*- coding: utf-8 -*-"""Created on Tue Aug 7 14:36:45 2018@author: 33"""import sys#reload(sys)#sys.setdefaultencoding('utf-8')import pandas as pdimport osimport reimport xml.etree.Ele..
2018-09-13 08:28:49
280
原创 ip池
182.99.253.180:61234 39.137.77.67:8080 118.212.137.135:31288 221.182.133.161:375 59.44.16.6:8000 117.127.0.197:8080 39.135.35.19:80 47.89.18.87:80 221.182.133.175:9999 218.65.67.15:61234 121...
2018-09-13 08:28:03
65744
1
原创 51job
# import urllib.requestimport reimport xlwt#用来创建excel文档并写入数据import requestsimport csvfrom lxml import etreefrom fake_useragent import UserAgentCOUNT = 3def parse(COUNT, header, url): while...
2018-09-13 08:27:48
425
转载 智联
import re,requestsfrom lxml import etree#import pymysql,sysimport csvimport time,randomfrom fake_useragent import UserAgentCOUNT = 3def parse(COUNT, header, url): while COUNT: try:...
2018-09-13 08:27:27
399
原创 下载表格
# -*- coding: utf-8 -*-import csvimport timeimport threadingfrom bs4 import BeautifulSoup as bsimport pandas as pdimport requests#国家字典country_dict={'AFGHANISTAN TIS': '1', 'ALBANIA': '3', '...
2018-09-12 08:23:33
1504
原创 jieba分词
import jiebaimport sysimport importlib#importlib.reload(sys)#sys.setdefaultencoding( "utf-8" )file = 'jiebatest.txt'fn = open(file,'r')print(fn.read())fn.closeimport jieba.posseg as pseg#im...
2018-09-11 13:24:16
105
原创 百度舆情
import requestsimport jsonimport codecsimport timeimport randomimport csvfrom fake_useragent import UserAgentimport pandas as pdfrom selenium import webdriverfrom lxml import etreefrom bs4 i...
2018-09-11 13:23:05
1142
原创 亚马逊书籍
import osimport reimport threadingimport time,datetimeimport csvfrom lxml import etreeimport pandas as pdimport pyodbcimport requestsfrom pybloom_live import BloomFilterfrom fake_useragent i...
2018-09-11 13:22:26
380
原创 爬微博
import requests import json import codecs import time import random import csv from fake_useragent import UserAgent import pandas as pd from selenium import webdriver from lxml import etree ...
2018-09-11 13:17:35
171
原创 python 传入sql
一些国家贸易信息的csv传入SQLconn = pyodbc.connect(r'DRIVER={SQL Server Native Client 10.0};SERVER=192.168.2.188;DATABASE=india1;UID=sa;PWD=123456')cursor = conn.cursor()#创建数据库for type1 in ["export"]: f...
2018-09-11 13:10:00
263
原创 写入csv函数
def save_to_csv(""要存入的各个列名字""): row = [""要存入的各个列名字""] with open(r'path/filename.csv', 'a', newline='', encoding='utf-8') as file: f = csv.writer(file) f.writerow(row)...
2018-09-11 13:06:28
640
原创 关于pandas的 一些操作
1. 删除操作删除csv文件最后一行import osimport numpy as npimport pandas as pddef main(): df = pd.read_csv('filename' ,encoding='gb2312') df.drop(df.index[[-1]],inplace=True) df.to_csv('filenam...
2018-09-11 10:00:52
169
原创 第一次写博客，就写，python收发邮件吧
收邮件 很重要的一点就是两个程序都需要将你邮箱的pop3/SMTP开启 开启pop3/SMTP方法然后就是粘贴程序了"""Created on Mon Aug 27 15:22:16 2018@author: 241"""import smtplib from email.header import Header from email.mime.text import...
2018-08-28 15:43:13
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人