自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(22)
  • 资源 (1)
  • 收藏
  • 关注

原创 Mac OS通过docker安装CDH

1. 从官网下载镜像,大概4.4G,建议用迅雷,直接用docker拉取经常中断2. 解压并加载到本地镜像库 tar -vxf cloudera-quickstart-vm-5.13.0-0-beta-docker.tar.gz docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar cdh:5.13.03. 修改...

2019-11-10 10:22:01 2044 1

原创 springboot整合elasticsearch及热更新字典及同义词

整合dao层ItemRepositorypackage com.futhead.es.dao;import com.futhead.es.model.Item;import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;import java.util.List;publ...

2019-09-15 23:25:52 1904

原创 win10上使用docker初体验

这两天没事,开始在windows上捣腾docker,虽然踩到些坑,但用起来确实很方便1. 安装参考Install Docker Desktop for Windows下载地址一路next就可以,如果有其他环境问题的提示,按照提示修改如果一切没问题,打开命令行,输入docker run hello-world看到如下内容则表示安装成功2. 登录这里需要的事...

2019-05-26 12:33:40 7933 3

原创 command 'x86_64-linux-gnu-gcc' failed with exit status 1

今天再ubuntu16.04上安装fabric3时抛了异常distutils.errors.DistutilsExecError: command 'x86_64-linux-gnu-gcc' failed with exit status 1具体如下:Complete output from command python setup.py egg_info: c/_cffi...

2019-05-10 19:45:24 3331

原创 用Python徒手写一个web开发框架

自从转行做码农以来,零零碎碎总会参与web开发相关的工作,但一直都没系统地学习一下,现在处于离职前夕,刚好有时间,跟着廖雪峰大神《Python教程》的实战教程,从头开始写一个web开发框架,以理清其中的脉络。Web App骨架整个框架建立在asyncio的基础上,而异步IO的现实是用的协程模型,跟传统子程序(即函数,通过栈实现,一个线程就是执行一个子程序,最终一层一层返回给程序入口)相比,...

2019-05-05 18:20:46 782

原创 常见反爬策略的解锁方法

用selenium模拟登录不能通过验证js检测window.navigator.webdriver值比如淘宝登录,当用selenium驱动浏览器,发现无法通过滑块验证,如下图当然可以修改这个值就可以绕过去。简单粗暴的直接赋值是不行的,如window.navigator.webdriver = undefined正确的写法是这样的:Object.definePr...

2019-04-27 20:37:03 1708

原创 教女朋友用Python快速绘制图表

安装anaconda3下载anaconda3下载地址:https://repo.anaconda.com/archive/Anaconda3-5.3.1-Windows-x86_64.exe安装一路next, 在安装完成时提示是否加入到环境变量,两个复选框都勾选,如图所示看到这个,就安装完成了验证安装按下windows + R 键,输入cmd, 回车,如图所示...

2019-04-27 16:13:59 1157 1

原创 通过auto.js控制手机开发环境搭建

1. 安装模拟器推荐网易的mumu模拟器,下载页http://mumu.163.com/双击安装,安装前会检测运行环境,根据反馈自行修改配置安装完成后启动模拟器2. 安装auto.js到auto.js官网https://hyb1996.github.io/AutoJs-Docs/#/下载Auto.js apk文件,通过模拟器右下角的安装按钮安装,安装成功后打开app,拉开...

2019-04-14 23:45:15 20249 8

原创 python编程常用技巧

批量处理文件时,同时有压缩文件和未压缩文件import pandas as pdimport osimport zipfilefor path in os.listdir(DATA_PATH): if path.endswith(".csv"): df = pd.read_csv(DATA_PATH + "/" + path, dtype=str) elif path.end...

2019-04-02 16:10:35 213

原创 浏览器实现restful接口的post请求

某客户的部署环境只有内网,但需要访问外网的第三方API,有台可以访问公网的机器搭了apache代理,代理添加了域名白名单,之前写的用requests直接访问失败,应该是requests用的是http1.0协议,而apache白名单过滤用的是http1.1协议。浏览器默认是http1.1协议,可以通过模拟浏览器发起请求方法一:使用seleniumrequests实现from selen...

2019-03-20 17:33:26 4675

原创 破解某电商js签名api

抓取某电商的产品信息,数据是通过api异步加载的,api有5个参数,有个sign的参数是签名,下面,就一步步演示下如何自己生成签名1. 找出签名的js一般的网站习惯把sign方法放在发起请求的js文件中,如下图的xdomain.js文件中然而,打开找了下,没有。以我多年的失败经验,这段js应该写到主页的html文件中,打开看一下,果然在里面2. 调试签名过程js...

2019-03-19 18:46:47 1159

原创 python配置有权限代理解决方案

代理配置:proxy_url = "http://{}:{}@{}:{}/".format(proxyUser, proxyPass, proxyHost, proxyPort)proxies = {'https': proxy_url, 'http': proxy_url}1. requestsresponse = requests.get(url, proxies=proxi...

2019-03-12 19:10:35 638

原创 win10子系统Linux试用体验

同事推荐了win10内置的linux子系统,试用了一段时间,分享下体验亮点:这个东西确实很好用,解决了开发环境与部署环境不一致的问题。各种服务可以直接装在Linux上,代码也可以直接切到开发目录运行,省去了发布和环境不一致的问题 解决了开发中的编码问题,Windows默认编码GBK, 而Mac和Linux都是UTF-8,因Python的方法参数有些有默认值,可以不传,从代码库上拉下来的代...

2019-03-05 15:52:50 530

原创 实时流处理开发调试环境搭建

写在前面的话上周发现了windows10上面的liunx子系统,感觉这东西真的太好了,然后昨天尝试着在(ubuntu16.04)上面搭建实时流环境,各个组件安装基本顺利,但在联合部署时踩到比较大的坑,把程序打包后提交到yarn上面,一直报错,大概意思是资源不够,一直倒腾到晚上7点多,无果,切换到Ubuntu16.04真实环境上重新来了一遍。结论,windows子系统的定位是开发环境,所以最好不...

2019-03-04 16:53:18 475

原创 Java通过代理访问网络

在一些安全性较高的系统中,应用部署在内网环境中,但难免有些外部的接口需要调用,常见的安全策略是搭一个代理,所有的外网访问都通过代理通道,做到可控。这里提供一种用okhttp3的实现方法第一步,引入jar依赖<!-- https://mvnrepository.com/artifact/com.squareup.okhttp3/okhttp --><dependen...

2019-02-28 11:42:41 1542

原创 选择某种颜色字母的验证码破解方法

现在有不少网站的验证码都变成了“请输入验证码图片中蓝色文字”这种形式,如下图大部分打码平台并不支持这种形式,所以得自己手动做些处理,基本思想:划归,即把这种验证码图片处理成打码平台可以打码的样子。首先,看下页面元素发现这个图片是转码成base64的一张png图片,所以,第一步,把这个base64字符串及需要的颜色抓出来def get_base64str_co...

2019-02-27 11:49:12 3337 5

原创 Java与Python中的正则匹配

 Java实现import java.util.regex.Matcher;import java.util.regex.Pattern;public class Test { public static void main(String[] args) { String content = "我要匹配这句话中的“Hello Word”这句短语"; ...

2019-02-25 09:49:35 577

原创 linux系统下使用selenium驱动Chrome

写在前面:开始使用的是xvfb + PyVirtualDisplay + firefox(60.0,centos7默认yum源的版本,ubuntu16.04安装了65.0也也试过),遇到一个比较大的坑,再模拟登录dowjones.com这个网站后,截图正常,做了一些操作,然后再截图,发现截的图只有很小一块,如下图所示不管是调整窗口最大化还是设置尺寸,都不能解决问题,最终只能放弃,改换g...

2019-02-22 19:17:18 1752 1

原创 win10找不到xlstat4

打开迅雷影音播放电影时提示找不到xlstat4.dll文件到https://cn.dll-files.com/xlstat4.dll.html下载xlstat4.dll文件拷贝到 C:\windows\system32目录下重启电脑 

2019-02-01 10:49:07 810

原创 win10搜索框突然不能搜索本地应用

参考《解决win10状态栏的搜索框无法搜索本地应用或无反应》1. 打开资源管理器,输入powershell并回车2.  运行修复命令Get-AppXPackage -Name Microsoft.Windows.Cortana | Foreach {Add-AppxPackage -DisableDevelopmentMode -Register "$($_.InstallLocat...

2019-02-01 10:32:53 10241

原创 如何巧妙的避开办公室的监(tou)控(kui)工具大势至而不被管理机发现

先看一下这个东西能干啥功能挺多的, 不过这个东西最让人不爽的就是当你输一些被监控的敏感字符时,会强制关掉当前的应用,比如在浏览器输入FTP,QQ等,他就立刻干掉浏览器,让你的思维戛然而止。其次,CPU占用率较高,因为要实时监控你的输入,所以有个进程会一直运行,性能不好的电脑会有明显的输入延迟,严重影响正常办公。打开任务管理器,看看进程试试右键结束它,你会发现可以干掉,但比较有趣...

2018-12-24 10:11:23 3876 6

原创 HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat解决方法

用Spark SQL写入hive-hbase 表报错java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat at org.apache.spark....

2018-08-13 19:33:05 3680 10

spark-hive_2.11-2.1.4-SNAPSHOT.jar

HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat 问题的补丁,替换jars文件夹下的对应jar包即可,版本spark2.1

2018-08-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除