atopx-CSDN博客

Makefile-include .envBUILD_DIR=$(shell pwd)# Setup the -ldflags option for go build here, interpolate the variable valuesLDFLAGS = -ldflags "-s -w"## install: Compile the binary.install: @echo " > Building binary..." @cd ${BUILD_DIR}; \

2021-08-25 16:47:36 195

原创经纬度转换(go/python/rust)

golang代码github.com/yanmengfei/coordgo get github.com/yanmengfei/coord@v0.0.1使用package mainimport ( "fmt" "github.com/yanmengfei/coord")func main() { var location = "115.668055,34.449162" var lon, lat, _ = coord.LocationToFloat64C

2021-08-12 17:43:22 792

原创 go发布celery任务(RabbitMQ)

package mainimport ( "encoding/json" "fmt" uuid "github.com/satori/go.uuid" "github.com/streadway/amqp")// CeleryTask 任务模型type CeleryTask struct { Queue string TaskName string Args []interface{} Kwargs map[string]interface{}}// Ne

2021-08-12 17:29:14 1548 1

原创 Win10设置gitbash为vscode默认terminal

{ "terminal.integrated.profiles.windows": { "PowerShell": { "source": "PowerShell", "icon": "terminal-powershell" }, "Command Prompt": { "path": [ "${env:windir}\\Sysnative\\cm

2021-08-12 17:19:47 326

原创基于私有gitlab的go-mod最佳实践

前置条件: go >= 1.13本文以http://git.itmeng.top为例设置GOPROXY# 意思是拉取依赖时优先使用https://goproxy.cn，然后使用直连(direct)方式go env -w GOPROXY=https://goproxy.cn,direct设置私服# 基于域名的私服设置go env -w GOPRIVATE=*.itmeng.top权限问题由于私有库需要权限认证，这里需要跳过http/https的用户认证，将http.

2021-08-12 17:16:35 388

原创 iterm2快捷键

标签功能快捷键新建标签command + t关闭标签command + w切换标签command + 1/2/3/4切换全屏command + enter查找command + f查看历史命令command + ;查看剪切板历史command + shift + h搜索所有Tabscommand + option + ...

2019-04-03 11:57:37 175

原创进程线程协程

进程线程协程进程、线程和协程是三个在多任务处理中常听到的概念，三者各有区别又相互联系。进程进程是一个程序在一个数据集中的一次动态执行过程，可以简单理解为“正在执行的程序”，它是CPU资源分配和调度的独立单位。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描...

2019-04-03 11:56:35 157

原创 PostGresql 备份和还原

PostGresql 备份和还原备份恢复备份pg_dump -h hostname -U username dbname > localpath/db.bak导出恢复psql -h hostname -U username -d dbname < localpath/db.bak导入

2019-04-03 11:55:33 504

原创 python调用js代码

安装代码转换工具pip install js2py转换和调用import js2pyjavascript_code1 = open('test.js', 'r', encoding='utf-8').read() # 读取本地js代码# 直接加载js字符串javascript_code2 = """function enString(data) { var key1 =...

2019-02-20 17:46:30 851

原创 Flask解决跨域访问

安装flask-corspip install flask-cors新建服务端示例文件server.py:from flask import Flask, jsonifyfrom flask_cors import CORSapp = Flask(__name__)CORS(app, resources=r'/*') # 注册CORS, "/*" 允许访问所有api@app....

2019-02-12 16:01:46 6493 1

原创 React快速入门

什么是前端开发?将页面显示和业务逻辑独立, 使用组件开发, 解决传统页面代码混合html显示及js业务代码的弊端常见的前端框架react (facebook), react-nativevue (阿里)AngularJS (早期)NodeJSnodejs的出现使JS代码的开发脱离了浏览器并且提供了统一的构建环境和包管理工具实验流程基本项目结构在项目目录下执行npm init...

2019-02-11 17:31:24 200

原创进程-线程-协程之间的区别与联系

进程线程协程进程、线程和协程是三个在多任务处理中常听到的概念，三者各有区别又相互联系。进程进程是一个程序在一个数据集中的一次动态执行过程，可以简单理解为“正在执行的程序”，它是CPU资源分配和调度的独立单位。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特...

2019-01-25 09:31:09 538

原创 Node.js 写爬虫

示例代码使用request配合cheerio实现简单爬虫let request = require('request'); // 需要先安装request库let cheerio = require('cheerio'); // 需要先安装cheeriolet url = "http://example.webscraping.com/places/default/view/china...

2019-01-23 16:24:58 174

原创 Node.js使用selenium

安装 Nodejs到Nodejs官方下载地址下载最新稳定版本Nodejs后安装。安装成功后在命令行模式使用以下命令查看是否成功。node -v项目初始化创建一个文件夹（用户存放项目文件）后命令行模式进入到该文件夹下执行命令：node init安装seleniumnpm install selenium-webdriver --save安装谷歌驱动npm install ch...

2019-01-23 15:55:03 1243 1

原创 Nginx的安装和配置

Nginx 安装和配置下载Nginx源码: http://nginx.org/en/download.html解压:tar -zxvf nginx-*.tar.gz配置cd nginx./configure --prefix=/usr/local/nginx编译 & 安装make && make install如果没有权限, 使用s...

2019-01-22 16:39:11 135

原创 Django配置API为https

一、安装组件pip install django-extensionspip install django-werkzeug-debugger-runserverpip install pyOpenSSL二、修改settings.py文件在INSTALLED_APPS 中注册:'werkzeug_debugger_runserver','django_extensions',三...

2019-01-18 10:56:25 671

原创 Python 异步Web框架Sanic

Python 异步Web框架Sanic安装SanicHello World搭建一个后端Web服务器注: 本文参考 Sanic官方文档编写:安装Sanicpip install sanic # 注意: sanic框架仅支持python3.5+版本Hello World新建一个文件hello.pyfrom sanic import Sanicfrom sanic.response i...

2019-01-17 15:33:34 1451

原创 Centos7 上搭建Hadoop3.1.1集群

Centos7 上搭建Hadoop3.1.1集群基本网络配置不论是虚拟机还是物理机, Hadoop集群需要在网络可以共享,且可以访问外网的主机上搭建IP主机名192.168.100.101Hadoop1192.168.100.102Hadoop2192.168.100.103Hadoop3计划好以后将以上表格内的内容写入/etc/hosts...

2019-01-15 19:48:02 507

原创 Python-Json模块用法详解

import jsondumps 把python类型(dict, list)转换为json字符串dic = {'a':1, 'b':2, 'c':3}# 把dic转换成json字符串 # ensure_ascii=False 是关闭把中文转换成ASCII# indent=4 写入到文件中自动格式化json_str = json.dumps(ret1, ensure_ascii=Fa...

2019-01-15 15:24:55 627

原创编程的核心思想

七大设计原则1. 开闭原则Open close Principle：一个软件实体如类、模块和函数应该对扩展开放，对修改关闭2. 迪米特法则Low Of Demeter：高内聚低耦合 – high cohesion low coupling3. 单一职责原则Single Responsibility Principle：一个类负责一项职责4. 接口隔离原则Int...

2019-01-01 14:37:27 1566

原创 Python 程序设计

Python 程序设计=====================设计类: 继承, 封装, 多态类抽象: 具有相似特征的事务, 定义类名继承, 多态类属性: 在抽象的类中提取名词考虑隐藏的属性类方法: 抽象的类中提取动词, 完成实际需求功能实例方法: 可以访问类中所有属性方法, 不能修改类属性类方法: 针对对象定义的方法 @classmethod在类方法内部...

2018-12-29 10:01:42 255

原创 Python生产者消费者案例 -- 多线程爬取智联招聘

核心思想:创建工厂类, 使用单利模式实现队列数据共享创建生产者类, 提取智联详情页url并存入工厂类队列创建消费者类, 从工厂类队列里取出url并抓取数据代码详情:使用方法说明: python zhilian_spider.py 城市关键词最大页码实例: python zhilian_spider.py 杭州 python 10完整代码:import sysimport ...

2018-12-29 08:44:02 419

原创 Scrapy 框架简介

scrapy 运转流程图:如果大家看不懂, 没关系, 下面一段对话内容可以助你理解看完之后是不是感觉秒懂?scrapy 基本命令# 创建项目文件夹(project_name: 项目名)scrapy startproject project_name# 创建一个爬虫(crawl_name: 爬虫名, start.com: 起始url)scrapy genspider craw...

2018-12-27 17:02:54 229

原创 Anaconda 安装和使用

Anaconda 安装下载安装包: 官网, 清华源等推荐下载python3 (Anaconda3) 版本按照安装程序提示一步步安装就好了, 安装完成之后会多几个应用Anaconda Navigtor ：用于管理工具包和环境的图形用户界面，后续涉及的众多管理命令也可以在 Navigator 中手工实现。Jupyter notebook ：基于web的交互式计算环境，可以编辑易于人...

2018-12-27 16:25:19 303

原创关于数据库选择和写爬虫的思路

mongodb mysql redis的区别和使用场景mysql是关系型数据库, 支持事务mongodb, redis是非关系型数据库(noSQL), 不支持事务mysql, mongodb, redis的使用根据如何方便进行选择希望速度快的时候, 选择mongodb或者是redis数据量过大的时候, 选择频繁使用的数据存入redis, 其他的存入MongoDBMongoDB不用提前...

2018-12-23 11:19:03 1301 1

原创 python - xpath使用

xpath使用import lxml.htmlfrom lxml import etreehtml_str = "<xx></xx>"# 把html_str转换为html对象html_s = lxml.html.fromstring(html_str)# 提取标签内容h1 = html_s.xpath('/xx/text()')# etree用法h...

2018-12-20 17:31:32 511 1

原创通用正则, 抓取a标签href属性

import re# url通用匹配url_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE)# testurl_str = "<a type='akfdf' href='http://www.itmeng.top' xxxx>hahah</a>"result = url_r...

2018-12-19 15:46:55 7006 1

原创 python: setitem, getitem,contains

class Tnt(object): def __init__(self, num): self.a = 0 self.num = num def __setitem__(self, key, value): print('setitem, key: ', key, type(key)) print('set...

2018-12-19 10:04:40 434

原创 Session和Cookie区别

前言HTTP是一种无状态的协议，为了分辨链接是谁发起的，需自己去解决这个问题。不然有些情况下即使是同一个网站每打开一个页面也都要登录一下。而Session和Cookie就是为解决这个问题而提出来的两个机制。应用场景登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是cookie。session一个场景是购物车，添加了商品之后客户端处可以知道...

2018-12-18 09:23:41 156

原创 ImportError: No module named 'flask.ext'

错误原因:在python3之后，引入方式已经发生了改变.官方说明: https://stackoverflow.com/questions/20032922/no-module-named-flask-ext-wtf其中说明了, flask.ext.xxx模块改为flask_xxx解决办法:修改源码文件jinjia2ext.py 第33行:# 修改前from flask.ext.ca...

2018-12-06 11:35:23 252

原创 Git 快速入门

git1.git简介workspace 工作区index 暂存区repository 本地版本库remote 远程仓库2.常用git命令所有的git命令必须在工作区内能使用，工作区就是你的项目目录git --version 查看版本git config -l 查看配置信息修改name和emailgit config --global user.name ‘ddd’...

2018-12-03 13:54:34 182

原创 Ubuntu下配置python开发环境

linux下配置python开发环境python开发环境配置pyenvvirtualenvpython开发环境配置Python 2和Python 3之间存在着较大的差异，并且，由于各种原因导致了Python 2和Python 3的长期共存。在实际工作过程中，我们可能会同时用到Python 2和Python 3，因此，也需要经常在Python 2和Python 3之间进行来回切换。这就需要对py...

2018-12-03 13:52:08 1030

空空如也

空空如也