wzdprofessor
码龄8年
关注
提问 私信
  • 博客:115,633
    115,633
    总访问量
  • 38
    原创
  • 1,830,908
    排名
  • 12
    粉丝
  • 0
    铁粉

个人简介:保持大局观!

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:山东省
  • 加入CSDN时间: 2016-09-26
博客简介:

王家东哥

查看详细资料
个人成就
  • 获得15次点赞
  • 内容获得7次评论
  • 获得77次收藏
  • 代码片获得159次分享
创作历程
  • 1篇
    2021年
  • 8篇
    2019年
  • 27篇
    2018年
  • 2篇
    2016年
成就勋章
TA的专栏
  • scrapy
    1篇
  • uwsgi
    1篇
  • flask
    1篇
  • linux
    15篇
  • mysql
    1篇
  • html
    4篇
  • python
    7篇
  • hadoop
    8篇
兴趣领域 设置
  • 大数据
    hadoophivespark
创作活动更多

HarmonyOS开发者社区有奖征文来啦!

用文字记录下您与HarmonyOS的故事。参与活动,还有机会赢奖,快来加入我们吧!

0人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

selenium.common.exceptions.WebDriverException: Message: ‘chromedriver.exe‘ executable needs to be in

在scrapy框架中使用webdriver时,总是报错:selenium.common.exceptions.WebDriverException: Message: 'chromedriver.exe' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home看错误日志的意思是版本不一致,不过我的webdriver和chrom浏览器是一致的。经过单独
原创
发布博客 2021.01.01 ·
1125 阅读 ·
2 点赞 ·
0 评论 ·
1 收藏

00798自考商务交流

发布资源 2019.11.24 ·
zip

python检查yaml配置文件是否符合要求

# coding=utf-8import loggingimport yamlimport osimport sysreload(sys)sys.setdefaultencoding("utf-8")# 获取当前目录的路径cur_dir = os.path.abspath('.')def check_dt_pacsscp(config): """ ...
原创
发布博客 2019.09.08 ·
1443 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

python编写一个程序,用来打印当前目录下所有的文件及文件夹下的文件

# coding=utf-8"""编写一个search(s)的函数,能在当前目录以及当前目录的所有子目录下查找文件名包含指定字符串的文件,并打印出完整路径:$ python search.py testunit_test.logpy/test.pypy/test_os.pymy/logs/unit-test-result.txt"""import osimport sys...
原创
发布博客 2019.09.08 ·
4773 阅读 ·
0 点赞 ·
2 评论 ·
2 收藏

linux环境docker安装启动

centos6.5安装docker:1、yum install epel-release -y2、yum install docker-io -y3、安装的配置文件/etc/sysconfig/docker4、启动docker /etc/init.d/docker startcentos7安装docker:卸载老的docker版本:sudo yu...
原创
发布博客 2019.07.21 ·
415 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

ubuntu安装docker

#ubuntu安装docker1、卸载相关sudo apt-get remove docker docker-engine docker.io containerd runc2、安装依赖sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg-agent \ ...
原创
发布博客 2019.06.19 ·
277 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

redis安装及python调用

1、ubuntu安装redis:sudo apt install redis -y2、设置密码(编辑配置文件,找到requrepass这行去掉注释)sudo vim /etc/redis/redis.conf#requirepass 123456 #去掉注释,后面的密码就是redis的密码#找到bind 127.0.0.1 这行改为服务器内网地址保存重启re...
原创
发布博客 2019.03.16 ·
182 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

python实现输入Y/N执行或退出程序

while(True): print("请仔细核对以下内容,确认你所操作的对象是本次打印的内容。按Y/N") in_content = input("请输入:") if in_content == "Y": print("执行成功!") exit(0) elif in_content == "N": print("你..
原创
发布博客 2019.03.16 ·
21159 阅读 ·
5 点赞 ·
1 评论 ·
23 收藏

Linux记录操作日志

history命令可以查看最近1000条命令。调整history命令的大小:vi /etc/profileHISTSIZE=1000 #改为history日志文件默认是保存在.bash_history文件下。history命令默认是没有时间的,可以在/etc/bashrc文件下追加以下:HISTFILESIZE=2000 HISTSIZE=2000 HISTT...
原创
发布博客 2019.03.15 ·
20334 阅读 ·
3 点赞 ·
1 评论 ·
13 收藏

nginx隐藏版本号

1.隐藏版本号:vi nginx.conf  http {         .................        server_tokens off;        ..................}2.隐藏nginx软件名及版本号: 第一步、修改nginx的源码文件(需要在安装之前修改)vi src/core/nginx.h#define N...
原创
发布博客 2019.01.16 ·
7256 阅读 ·
0 点赞 ·
1 评论 ·
7 收藏

hive创建一个自定义函数处理复杂数据

1.数据格式实例:-------------------------------------1,zhangsan:18:beijing|nan|it,20002,lisi:28:nanjing|nan|it,40003,xiaowu:38:qingdao|nan|it,1000--------------------------------创建表,然后load到hive中:...
原创
发布博客 2018.09.05 ·
979 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

zookeeper启动脚本

#/bin/sh#for start or stop zookeepera=$1if [[ $a = "start" ]];then for host in node1 node2 node3 do ssh $host "export JAVA_HOME=/usr/local/jdk;/usr/local/zookeeper-3.4.5...
原创
发布博客 2018.09.04 ·
359 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

IP地址库统计大全

发布资源 2018.09.04 ·
data

pyspark统计access访问日志中ip的归属地(用本地ip地址库)

本地ip地址库:不足之处便是数据不准确,而且数据变化不能实时更新。第三方ip地址接口:解决了上面的问题,但是查询量太大的话会拒绝服务。本实例演示的是本地ip地址库,数据格式为:(下载地址:https://download.csdn.net/download/wangjiadongge/10644936)62610,1034939648,61.175.237.0,1034939657,...
原创
发布博客 2018.09.04 ·
439 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

pyspark获取ip地址的位置信息

#coding=utf-8from pyspark import SparkConf,SparkContextconf=SparkConf().setAppName("getiplocal").setMaster("local[*]")sc=SparkContext(conf=conf)#指定从哪里读取数据#1.规则,ipnumrdd1 = sc.textFile("hdfs://...
原创
发布博客 2018.09.03 ·
473 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python根据ip地址计算归属地(淘宝地址库)

#python 2.x的写法#coding = utf-8import urllib2import jsondef ip2city(ip): apiurl = "http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip content = urllib2.urlopen(apiurl).read() data =...
原创
发布博客 2018.09.02 ·
1319 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

spark RDD算子大全

Transformation Meaning map(func) Return a new distributed dataset formed by passing each element of the source through a function func. filter(func) Return a new dataset formed by selecti...
原创
发布博客 2018.09.02 ·
995 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python整理不规则数据(用函数将一列中某些行为的位置补全)

 注意数据的类型,否则保存会有错误,比如long类型后面带L,需要将其去掉。#coding=utf-8#用于转换ip地址为填写空白处的函数def ip2long(ip_string): return ip_string.find('.') != -1 and reduce(lambda a, b: a << 8 | b, map(int, ip_string....
原创
发布博客 2018.09.02 ·
1475 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

nginx+uwsgi+部署flask和django项目

#安装uwsgipipinstalluwsgi#编辑测试文件,用于测试uwsgi是否能正常使用vitest.pydefapplication(env,start_response):start_response('200OK',[('Content-Type','text/html')])return["helloworld"]...
原创
发布博客 2018.08.31 ·
208 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

在windows10本地运行wordcount程序报错

错误展示:null chmod 0700 D:\tmp\hadoop-darren\mapred\staging\darren959377275\.staging解决办法很简单,访问下面的url,得到2.7.3文件bin下的hadoop.dll,将其拷贝到windows\system32下搞定https://github.com/SweetInk/hadoop-common-bin...
原创
发布博客 2018.08.31 ·
845 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多