- 博客(15)
- 收藏
- 关注
RSS订阅原创 cannot import name ‘webdriver‘ from ‘selenium‘
最近在学习爬虫，使用selenium来爬取网页，第一次使用 pip install selenium 下载这个模块 。当是我第二天使用就给我报这个错误ImportError：cannot import name 'webdriver' from 'selenium'原因也很简单 ，是因为我新建的名称叫selenium.py，导致Python会先导入这个文件，然后再导入标准库里面的selenium.py只需要把自己的重命名，或者删除就okk...
2020-08-05 14:45:23
1524
1
原创 python连接mongoDB,进行增删改查操作
1.下载mongo的驱动模块：python -m pip install pymongo2.创建连接，指定数据库，指定集合#mongoDBimport pymongoclient=pymongo.MongoClient('mongodb://localhost:27017')client#指定数据库db=client.testdb#指定集合collection=db.studentscollection3.插入数据#插入数据student={ 'id':'
2020-07-31 00:55:52
348
原创 python连接mysql，进行增删改查基本操作
1.先安装mysql模块 pip install pymysql2.import mysql3.创建一张表pymysql.paramstyle='format'db=pymysql.connect("localhost","root","A","test")cursor=db.cursor()cursorsql="""CREATE TABLE EMPLOYEE ( FIRST_NAME CHAR(20) NOT NULL, LAST_NAME CHA.
2020-07-30 09:08:31
225
原创 java和python两个版本快速排序
1.java版public class test { public void quick(int[] arr,int begin,int end){ if(begin<end){ int key=arr[begin]; int i=begin; int j=end; while(i<j){ while(i<j && arr[j]>key){ j--; } if(i<j){ s
2020-07-29 16:48:25
115
原创 python实现一个伪随机数生成器
伪随机数生成的方法有很多 1.平方取中法 2.线性同余法 这里介绍线性同余法： 公式 rNew=(a*rOld+b)%(end-start) 1. a称为乘数，b称为增量，(end-start)称为模数，它们均为常数 2.然后设置rOld=rNew ,一般要求用户指定种子数rOld(也叫seed)，当然也可以自由选择a和b 但是这两个数如果选择不好，可能会影响数字的随机性 a=4p+1 b=2q+1 最好def myrandint(start,end,see...
2020-07-29 16:09:09
1662
原创 手写一个服务器，提供静态资源访问
1. 接收客户端的请求解析出它请求的文件名及相对路径.2. 查找这个文件是否存在不存在：404页面存在 ：1.读取这个资源2.构建响应协议1.项目架构2.kittyServer，创建一个ServerSocket，从配置文件中读取端口号，启动一个线程package com.yc.http.server;import java.io.IOException;import java.net.ServerSocket;import java.net.Socket;impo...
2020-07-29 15:53:48
182
原创 Spark streaming整合kafka 并保持上一次记录，scala模板
从kafka中读取数据，用Spark streaming进行实时分析。 import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Level, Logger}import org.apache.spark.{HashPartitioner, SparkConf}import org.apache.spark.sql.catalyst.plans.physical.Ha...
2020-07-16 13:50:05
200
原创 hive调用MapReduce之后遇到kill command之后卡住
1.hive在调用MapReduce时候，一直卡在kill command，hadoop是伪分布式启动正常，hive也没有问题。没想到是我的namenode的host文件映射做错了，导致namenode连不上datanode我是通过查看hadoop日志mapred-root-historyserver-主机名.log 看到的...
2020-07-15 12:03:00
1102
原创 hive整合hadoop错误：java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was
环境：hive-1.2.2 hadoop-2.5.2我的hive hadoop安装在 /usr/local/1.将hive下的新版本jline的JAR包拷贝到hadoop下替换旧的jlinecp /usr/local/hive122/lib/jline-2.12.jar /usr/local/hadoop252/share/hadoop/yarn/lib/mv jline-0.9.94.jar jline-0.9.94.jar.bak...
2020-07-14 15:22:26
225
原创 hadoop Web端报错：Failed to retrieve data from
1.在hadoopweb端无法下载到文件检索数据失败我这里的原因时浏览器的版本不行 我这里换成Google就okk了
2020-07-08 15:12:37
1881
原创 虚拟机断电后centos7无法正常启动 XFS(sda3):Corruption of in-memory data detected
1.由于我的电脑死机，虚拟机没有正常关闭导致重启后node1节点：可以登陆但是出现XFS(sda3)：Corruption of in-memoru data detectednode2节点：一登陆就跳到急救模式node3节点：登陆就一直卡死不出现登陆用户名，密码的界面解决方法：node1：网上的解决办法是：xfs_repair -v -L /dev/dm-0但是你要根据你的报错日志来确定是哪个内存数据损坏,我的就是 /dev/sda3损坏但是我在root用户界面输入...
2020-07-06 16:25:57
6279
5
原创 Redis集群错误：org.springframework.data.redis.TooManyClusterRedirectionsException
1.Spring-data-redis操作redis cluster如果不设置maxRedirects值，源码中默认为5。一般当此值设置过大时，容易报：Too many Cluster redirections<property name="maxRedirects" value="5" />如果不设置clusterTimeOut值，源码中默认为2S。当集群服务器与客户端不在同一服务器上时，容易报：Could not get a resource from the...
2020-07-03 02:07:34
4708
原创 MongoDB 报错：use geoNear command rather than $near query
1.在mongodb的shard集群中，基于2dsphere，没法在find命令中使用：db.sz_user({loc:{$near:{……}})，这是mongodb的一个bug，会报错：use geoNear command rather than $near query，但是在非shard集群中是可以在find中使用$near。shard集群中使用runCommand是可以的，但是runCommand在高并发时，会停顿几秒，使用db.sz_user....
2020-06-30 22:11:32
608
转载 oop总结
面向对象的程序设计有三大特征：封装：解决了数据的安全性问题继承：解决了代码的重用问题多态：解决了程序的扩展问题***1-类：***具体相同特征或者行为的一种抽象。类是具有相同属性和和行为的一组对象的集合。把相同的或相似的对象归为一类的这个过程就是抽象。还可以在定义类时为类添加访问修饰符，对类进行访问权限控制；对类使用的访问修饰符只有public和缺省两种；被public修饰的类可...
2019-05-29 19:57:39
123
转载 JAVA基础1
JAVA基础11，关键字：其实就是某种语言赋予了特殊含义的单词。保留字：其实就是还没有赋予特殊含义，但是准备日后要使用过的单词。2，标示符：其实就是在程序中自定义的名词。比如类名，变量名，函数名。包含 0-9、a-z、$、_ ；注意：1），数字不可以开头。2），不可以使用关键字。3，常量：是在程序中的不会变化的数据。4，变量：其实就是内存中的一个存储空间，用于存储常量数据。...
2019-05-20 21:39:53
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人