qq_34142583的博客

原创 将博客搬至CSDN

将博客搬至CSDN

原创 ChilloutMix 腾讯云服务器快速部署

背景前两天在某公众号的软文刷到了AI绘画领域最新的ChilloutMix模型。大概是下面这张图的效果：激动的心颤抖的手，学了这么多年计算机，就是为了走在时代前沿，事到如今终于可以活学活用了然而自己的电脑配置完全不够用，咋整？开台GPU云服务器吧。踩了无数坑之后，终于总结出此流程。力求以最简单的方式，快捷的在云服务器部署chilloutmix，以及lora，以及各种其他绘画模型。...

原创 Linux常用命令总结(建议收藏)

文件管理目录操作切换目录cd查看目录ls-l 列出文件详细信息 或者直接ll-a 列出当前目录下所有文件及目录，包括隐藏的a(all)创建目录mkdir-p 创建目录，若无父目录，则创建p(parent)输出信息echo打印文件到命令行(查看文件)cat改变文件所属用户chown改变文件所属组chgrp下载文件wget在文本文件...

原创 阿里云 odps maxcompute max_pt 用法

一、简述select max_pt('tableName')对于分区的表，此函数返回该分区表的一级分区的最大值，按字母排序，且该分区下有对应的数据文件。说明：tableName：String 类型，指定表名(必须带上 project 名，例如：prj.src)，用户必须拥有该表的读权限。返回值：最大的一级分区的值。例：tab 是分区表，该表对应的分区如下，且都有数据文件。pt=‘200808...

原创 腾讯云与阿里，哪个更好？

作者：智晓云链接：https://www.zhihu.com/question/55498924/answer/1298937564来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。阿里云、腾讯云是国内数一数二的云平台，云计算技术发展到今天，底层技术已然成熟，讨论两家的差别，更多从解决方案的角度去讨论。我们先来看看阿里云，阿里云是国内最早做云计算的平台，2009年...

原创 腾讯云、阿里云和百度云的优劣势各是什么？

作者：智晓云链接：https://www.zhihu.com/question/24170911/answer/1037783479来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。阿里云：了解云计算的都知道，阿里云是国内第一家做云计算的平台，也是目前国内最大的云计算平台，阿里云最早的倡导者王坚也在2019年被评为中科院院士，也从侧面证明了阿里云的实力。阿里云最早...

原创 python selenium5 模拟点击+拖动+按照指定相对坐标拖动 58同城验证码

#!/usr/bin/python# -*- coding: UTF-8 -*-# @Time : 2019年12月9日11:41:08# @Author : shenghao/10347899@qq.com'''test with selenium's move by x,y'''from builtins import printfrom selenium impor...

原创 python selenium4 模拟点击+拖动+保存验证码 测试对象+以验证码的返回ID保存命名 58同城验证码...

#!/usr/bin/python# -*- coding: UTF-8 -*-# @Time : 2019/12/5 17:30# @Author : shenghao/10347899@qq.com'''test with selenium's move'''from builtins import printfrom selenium import webdrive...

原创 python selenium3 模拟点击+拖动+保存验证码 测试对象 58同城验证码

#!/usr/bin/python# -*- coding: UTF-8 -*-# @Time : 2019/12/5 17:30# @Author : shenghao/10347899@qq.com'''test with selenium's move'''from selenium import webdriverfrom selenium.webdriver.su...

原创 python selenium2 模拟点击+拖动 测试对象 58同城验证码

#!/usr/bin/python# -*- coding: UTF-8 -*-# @Time : 2019/12/5 17:30# @Author : shenghao/10347899@qq.com'''test with selenium's move'''from selenium import webdriverfrom selenium.webdriver.su...

原创 python selenium1 模拟点击 测试对象 58同城验证码

#!/usr/bin/python# -*- coding: UTF-8 -*-# @Time : 2019/12/5 17:30# @Author : shenghao/10347899@qq.com'''test with selenium's click''''''click 58 urls is https://callback.58.com/antibot/verifycod...

原创 python3 datetime 时间格式相减 计算间隔

info_rent = MysqlUtils.select_yezhu_rent()info_sale = MysqlUtils.select_yezhu_sale()now_time = datetime.datetime.now()#now time type is datetime and mysql spidertime is also datetimefor i in inf...

原创 python3 多线程 采集 xpath

#!/usr/bin/python# -*- coding: UTF-8 -*-'''Thread3 多线程测试采集'''import threading,time,queue,Mongo_utils,mysqlUtils,requests,json,osfrom lxml import htmletree = html.etreeexitFlag = 0db = Mongo_u...

原创 linux - 卸载python

2019年10月15日12:05:42[root@spider1 bin]# rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps ##强制删除已安装程序及其关联[root@spider1 bin]# whereis python |xargs rm -frv ##删除所有残余文件 ##xargs，允许你对输出执行其他某些命令[ro...

原创 python3.7 lxml4.2.5 etree xpath 的使用

#2019年10月14日11:08:49from lxml import htmletree = html.etreehtml = etree.HTML(response_dl.content)print(html.xpath("//td[@data-title='IP']/text()"))找了很久，测试成功看看自己的lxml版本是不是4.2.5如果不是，安装4.2.5pip...

原创 京医通如何删除临时卡，解绑

1、解绑的话，如果你是正式卡或者社保卡，可以在账户里面，点击卡进去详情页，里面会有一个解绑2、重点就是临时卡了，挂号的时候很恶心。目前唯一的解决办法就是，注销账户。 1)、解绑所有正式卡 2)、解绑微信绑定 3)、重新注册绑定唯一的方式，谢谢...

原创 解决Eclipse添加新server时无法选择Tomcat7的问题

关闭Eclipse删除WorkSpace目录下/.metadata/.plugins/org.eclipse.core.runtime/.settings目录中的org.eclipse.wst.server.core.prefs和org.eclipse.jst.server.tomcat.core.prefs重启Eclipse

原创 mysql java jdbc 如何 update select

2019年8月6日17:28:07sql 不知道怎么写，也没去查，因为需求可能中途需要修改值，有点麻烦直接用jdbc实现。查询出来的值，直接根据update条件更新，写在一个方法里public static void GetWeiLiaoMsg(String day) { try { conn = MysqlJdbc_sys_master.get...

原创 linux 阿里云 新机器 安装jdk1.8

2019年7月17日15:58:34按着顺序来：wget https://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz?AuthParam=1563350137_da211bb30066c95451752ac56193a05...

原创 linux mysql-5.7.26 安装全记录

买了个阿里云，自己折腾一下。时间：2019年7月17日13:40:181、下载wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz2、解压tar -zxvf mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz 3、移...

原创 数值或者电话号码被EXCEL转成了科学计数法，用XSSFCell 如何读取

public static Map<String, Integer> readXls() throws IOException { //用来获取每一个小号重复多次，被多少账号用了。来平均 58 agent 查询出来的数据。 Map<String, Integer> map = new HashMap<String, Integer&gt...

原创 mysql if else count 计数

select mobile,avg(total),sum(click_day*click_money),sum(click_day),count(push_status),sum(clicks),count(if (total>=0 and total <600,true,null)) as house0,count(if (total>=600 and total &lt...

原创 webmagic学习之路-3：采集安居客经纪人详情页

这里希望安居客的同行的轻喷！！单纯的做测试，玩玩。就这么糟践你们的服务器了！！！sorry！这次学会了webmagic 设置处理的访问HTML返回代码，因为之前一直404的页面process根本都不会进来，纳闷很久，也百度了半天。看源码看了好半天，才知道原来有这个方法设置进process的状态码，让我看源码的决心来源于 我用logger 打印的内容告诉我，webmagic已经获取了404，...

原创 webmagic学习之路-2：采集安居客经纪人列表

相比较 1 稍微成熟了一点，会用的东西多了。正则用的不好，很多东西不会，大神轻喷！package com.action;import java.util.ArrayList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;import javax.manag...

原创 webmagic学习之路-1：采集安居客列表页测试

---恢复内容开始---package com.action;import java.util.ArrayList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;import javax.management.JMException;import org....

原创 mysql 如何清除sql缓存

对一条sql进行优化时，发现原本很慢的一条sql(将近1分钟) 在第二次运行时， 瞬间就完成了(0.00sec)这是因为mysql对同一条sql进行了缓存，服务器直接从上次的查询结果缓存中读取数据，而不是重新分析、执行sql。可通过如下方法清空查询缓存reset query cache;...

原创 Mysql EXPLAIN列的解释

转自：http://blog.chinaunix.net/uid-540802-id-3419311.htmlexplain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。使用方法，在select语句前加上explain就可以了：如：explainselectsurname,first_nameforma,bwh...

原创 mysql查看执行sql语句的记录日志

1、使用processlist，但是有个弊端，就是只能查看正在执行的sql语句，对应历史记录，查看不到。好处是不用设置，不会保存。-- use information_schema;-- show processlist;或者：-- select * from information_schema.`PROCESSLIST` where info isnot null;2、开启日志...

原创 2019年1月 新个税扣除 简要版

原创 shell 中可以for 循环的时间加减日期格式

for num in {88..3};do# LAST_HOUR=`date -d '-${num} hour' +%H` 不可for循环，报格式错误LAST_HOUR=`date "+%H" -d -${num}hour`

原创 杀死 ps grep 出来的所有进程

ps -ef |grep HouseList_Day |awk '{print $2}'|xargs kill -9

原创 重温算法第一篇：冒泡排序

2018年5月23日16:58:35闲来无事，复习一下算法java版本1:次数为 list.size()*list.size()-1public class test { public static void main(String[] args) { List<Integer> list = new ArrayList<Int...

原创 服务器报警邮件发送到QQ邮箱，但是被系统拦截

# 为啥发送到QQ邮箱呢？因为QQ邮箱可以和微信关联，第一时间收到消息if 没有设置白名单，然后被拦截当做垃圾邮件了:　　设置白名单就可以了，这样的状态特征是： 邮件在垃圾箱里面能找到elif 还是不行，垃圾箱里面也找不到，但是在收件箱里面，会有个小提示，提示是被系统拦截的，添加白名单和域名白名单也没用，甚至我要去申诉了：　　看看邮件标题是不是全英文，如果是，把他改成中文的试试...

原创 记录MongoDB常用查询

{$and:[{"flag" :{ $ne:"1"}},{"flag" :{ $ne:"0"}}]} // flag不等于1 也不等于0{$or:[{"flag" :{ $ne:"1"}},{"flag" :{ $ne:"0"}}]} // flag不等于1 或者不等于0db.xx_spider_agent.update({'tag':'111'},{$set:{'tag':'0'}},...

原创 一次 Mysql 字符集的报错，最后让我万马奔腾！！！

wuba---深圳---龙岗周边---2000-3000元---29---20180121---28657wuba---深圳---龙岗周边---3000-5000元---29---20180121---28658wuba---深圳---龙岗周边---5000-8000元---37---20180121---28659wuba---深圳---龙岗周边---600-1000元---27---...

原创 Hbase 一次表异常，有一张表 无法count scan 一直显示重连

z_activeagent ...

原创 spark编译安装 spark 2.1.0 hadoop2.6.0-cdh5.7.0

1、准备：centos 6.5jdk 1.7Java SE安装包下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.htmlmaven3.3.9 Maven3.3.9安装包下载地址：https://mirrors.tuna.tsinghua...

原创 有一些sql 是必须要做笔记的！！

select CONCAT(unix_timestamp(),"-",id,"-",name) as aa,age from workers; //连接字段select substr(concat("0000000",id),8,2) from workers //从第八位开始截2位select right(concat("0000000",id),3) from workers ...

原创 linux 修改openfiles

使用ulimit -a 可以查看当前系统的所有限制值，使用ulimit -n 可以查看当前的最大打开文件数。新装的linux默认只有1024，当作负载较大的服务器时，很容易遇到error: too many open files。因此，需要将其改大。使用 ulimit -n 65535 可即时修改，但重启后就无效了。(注ulimit -SHn 65535 等效 ulimit -n 65535...

原创 在线HTTP POST/GET接口测试工具

在线HTTP POST/GET接口测试工具http://www.atool.org/httptest.php