- 博客(30)
- 收藏
- 关注
RSS订阅原创 python多线程统计大文件字数并对返回值进行计算
large_txt_count.py# _*_coding:utf-8_*_import timeimport threadingimport configparserimport osfrom datetime import datetimeclass MyThread(threading.Thread): def __init__(self, func, arg...
2019-09-28 23:15:21
294
原创 多进程与多线程及python编程选择
在对python的多线程与多进程讨论之前，我先提出一个论点，即一个矛盾点，使用python编程，不论你选择多线程还是多进程都是不合适的，当然，此处的“不合适”也公限于相对而言因为本文有多处引用这位老兄的文档，所以我在这先把他的文章链接给出：https://blog.csdn.net/youanyyou/article/details/78990156 而且先明白一个真理，也是一个常识，C...
2019-09-21 15:52:07
130
原创 快速排序实现
快速排序实现的前提有两个：1、基线条件2、归纳条件现在来具体解释一个这两个条件基线条件：排序说白了就是比较数的大小，比较的时候至少有两个数吧！（因为一个数是不能比较的，就像比较好与坏，也要有个对象吧！）基线的意思就是这个标准，例如：基线是5，你可以拿1与5比较，1比5小，10与5比较，10比5大，这就是基线。归纳条件：可以从这个字面意思来分析，需要借助于上面这个名词，基线，归纳...
2019-09-19 11:02:20
129
原创 记python 字典操作的一个小窍门
如果有这样一个需要，从字典中取出一个键的值，但是不确定这个键是否存在，而我们想给他一个默认值，这个时候就可以使用字典的这个函数# example>>li = {"name":"Jhon", "age": 18}>>address = li.setdefault("address", "beijing")>> "beijing">>ag...
2019-09-10 15:20:20
140
原创 使用certbot为网站服务添加https免费安全认证
certbot的网站主页https://certbot.eff.org/lets-encrypt/centosrhel7-nginx以下主要记录在操作时候的一些注意事项一、准备工作 1、首先要有域名，配置好nginx ,必须使用80端口，供certbot访问认证 2、在认证的过程中会出现一个 requests认证的bug，推荐 pip2.7 instal...
2019-08-26 19:21:26
919
1
原创 gunicorn与python web部署
常用架构，nginx负责动态的转发和静态文件的直接访问，gunicorn作为网关服务用来解析http请求，python web框架 django 或flask只是个application相比于uWSGI，gunicorn 具有使用非常简单，轻量级的资源消耗，以及高性能等特点。gunicorn 启动方式gunicorn-w2-bunix:sockapp:app-kge...
2019-08-22 14:21:54
270
原创 python使用装饰器实现单例模式
# 装饰器实现单例模式def singleton(cls, *args, **kwargs): instances = {} def get_instance(*args, **kwargs): if cls not in instances: instances[cls] = cls(*args, **kwargs) ...
2019-02-20 15:42:14
670
原创 mysql 建表的注意点
1、根据业务需要，如果只是使用某个表，则可以如下去建了表CREATE DATABASE dbname DEFAULT CHARSET utf8 COLLATE utf8_general_ci;2、建完表之后，需要为可以访问或操作这个表的用户分配权限，简单的把所以的权限分配给这个表可以这样做，即把所有的权限权限分配给root用户，而且root用户可以远程登录grant all pri...
2019-02-15 10:24:29
276
原创 在windows下安装mysql5.6用于测试
在安装的过程中遇到了许多的坑，在此一一记录下来，下次再遇到此问题的时候避免再次浪费时间1、windows上安装有两种方式，一是从官网上下载 ***.msi文件，这种方式安装的时候会有许多的选项，一不小心就会进入坑，怎么也上来来，比如我原来安装了一下 8.1的版本，然后我由于测试的需要，把高版本卸载安装低版本，不知什么原因，我下载的是低版本的 msi文件，在安装的过程中我只能选择到高版本的安装...
2019-02-15 09:59:47
208
原创 python新式类的继承
python2 有新式类与旧式类区分，但python3已没有区别，均使用的是新式类（即继承于object的类）新式类的继承使用的是广度优先的算法，所以对比于旧式类还是有很大的区别，我们通过一张照片来看下广度优先的实例 ...
2018-12-28 09:52:44
230
原创 django 使用gunicorn加载静态文件
在项目 xxx/ryweixin/urls.py中加入：from django.contrib.staticfiles.urls import staticfiles_urlpatternsurlpatterns = [ url('^admin/', admin.site.urls),]urlpatterns += staticfiles_urlpatterns()其中的...
2018-12-27 16:10:03
1948
1
原创 django rest-framework APIView详解
APIView 是对 from django.views.generic.base import Viewdjango 自带的 View 的封装，先来看一下使用 View 的实例：import jsonfrom django.views.generic.base import Viewfrom django.core import serializersfrom dj...
2018-12-27 09:13:29
727
原创 在centos7上安装rabbitmq
1、rabbitmq 是erlang 编写的，所以在先安装Erlang rpm -Uvh http://www.rabbitmq.com/releases/erlang/erlang-18.1-1.el7.centos.x86_64.rpm2、安装rabbitmqrpm --import https://www.rabbitmq.com/rabbitmq-signing-key-...
2018-08-30 13:12:07
178
转载 python3字符串编码
Python3 字符编码python3解决了python2在编码上的一些缺陷 使用 ASCII 码作为默认编码方式，对中文处理很不友好。 把字符串的牵强地分为 unicode 和 str 两种类型，误导开发者 首先，Python3 把系统默认编码设置为 UTF-8str:>>> a = "a">>> a'a'>>...
2018-08-08 15:23:27
478
原创 python 程序退出的几种方式
1、sys.exit()2、os._exit()3、exit() exit(1)表示正常退出 exit(0)表示非正常退出
2018-08-08 15:22:41
29695
3
原创 python 多进程与多线程
一、二者的关系 1、进程是操作系统分配资源的最小单元，线程是操作系统调度的最小单元，一个进程下面可以有多个线程，线程不能分配资源，只能共享资源。 2、启动线程的方法 把一个函数传入并创建Thread实例，然后调用start()开始执行 import threadingimport timedef loop(x): pr...
2018-07-30 15:50:56
170
原创 在windows上安装python 虚拟环境遇到的一个坑
使用pip install virtualenv 之后，试图通过 virtualenv --no-download myenv 创建一个python的虚拟环境但是出现了一个问题，在出错的最后一行报一个错：OSError: Command E:\virtual-env\mysite_env\Scripts\python.exe - setuptools pip wheel failed wi...
2018-07-27 23:18:49
2896
1
原创 python 类变量、实例变量 -----温故而知新
今天在学习Java的时候遇到一个关于对象赋值的问题，要给所赋的值加一个判断，突然想到python中关于类变量，实例变量的定义，于是去找一个两个不同的语言对于类中变量的定义，又结合不久前做的一个程序，对类变量与实例变量做一个总结与梳理： import randomimport stringclass A: x = [] y = 0 z = {} k ...
2018-07-25 10:49:47
328
原创 hbase shell 操作失败查看日志遇到的一个bug
File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1).这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的，所以需要在namenode的 50070web页面上查看是否有datanode连接。...
2018-07-24 17:28:26
2051
原创 python 连接HBase服务器遇到的一个坑
在使用python连接HBase安装各种依赖包的过程中需要根据 HBase 的源码来生成一个gen-py包，我使用的是python3.5,HBase的版本是1.2.6，在/hbase-1.2.6.1/hbase-thrift/src/main/resources/org/apache/hadoop/hbase 文件夹下面有两个文件夹 thrift thrift2，网上查来的许多资料都是使用 ...
2018-07-24 15:27:49
1949
2
原创 hive级联查询
级联查询练习建表：create table t_access_times(name string,month string,salary int)row format delimitedfields terminated by ',';数据：load data local initdb '/root/jilian_data.txt' into table t_access_times...
2018-07-17 11:18:50
724
原创 使用python连接hdfs 文件系统，实现上传文件
一、在用户的根目录下写配置文件(mypython) [root@hadoop-yarn-117 ~]# vi .hdfscli.cfg [global]default.alias = dev[dev.alias]url = http://hadoop-yarn-117:50070user = root 二、使用python 连接from hdfs import Configcli...
2018-07-16 14:53:21
3710
原创 pip 安装pyhs2出现错误解决的方法
错误： sasl/saslwrapper.h:22:23: 致命错误：sasl/sasl.h：没有那个文件或目录需要安装几个包解决这个问题yum install cyrus-sasl-lib.x86_64 cyrus-sasl-devel.x86_64 libgsasl-devel.x86_64 -ypip install pyhs2 -i https://pypi.douban.com/s...
2018-07-16 14:46:42
1705
1
原创 hadoop集群搭建
hadoop 版本： 2.9.1集群搭建的工具： 1、开源：http://ambari.apache.org/team-list.html 2、收费：https://www.cloudera.com/一、文件下载解压 (1)编译好的 345M wget -P [download-to-dir] https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/...
2018-07-16 14:27:45
113
原创 python super类继承
class Parent(object): def __init__(self): self.parent = 'I am the parent' print('parent') def bar(self, message): print(message, 'from parent')class FooChile(Parent...
2018-05-28 10:16:28
845
原创 阿里云设置图片界面
1、先安装 MATE Desktopyum groups install "MATE Desktop"2、再安装 X Window System。yum groups install "X Window System"设置默认通过桌面环境启动服务器：systemctl set-default graphical.target（命令行模式启动：systemctlset-default multi...
2018-05-08 11:38:26
188
原创 python super
在初始化父类属性的时候需要用到： class A(object): def __init__(self, xing, gender): self.namea = "aaa" self.xing = xing self.gender = gender def funca(self): var = "funct...
2018-05-08 10:09:34
137
原创 wagtail 实现中英文
1、在settings中设置使用本地自定义的语言MIDDLEWARE = [ 'django.contrib.sessions.middleware.SessionMiddleware', 'django.middleware.locale.LocaleMiddleware', #添加 'django.middleware.common.CommonMiddleware'...
2018-04-16 16:20:24
2252
原创 spark以standalone集群方式启动
折腾了一个下午，终于部署完成了，在这期间遇到几个需要注意的地方，记录下来，以防下次再被坑到1、在配置spark-env的时候需要export java_home 所以需要查找JAVA_HOME ，此处是centos7版本 (1)which java /usr/bin/java (2)ls -la /usr/bin/java /usr/bin/java -> /etc...
2018-04-11 09:43:26
646
原创 记一个在pycharm配置spark的坑
在完全配置以下环境后：jdk:1.8spark:2.1python:3.5pip install pyspark==2.3完成以上配置后，在pycharm中只能对RDD作collect()操作，其它操作总会报号 ‘int' can't itener 错误以为是没有安装scala引起的失误，安装scala2.12.3之后还是不行，试着安装spark-2.3.0版本，结果终于可以了，果然是个大坑啊.....
2018-04-10 11:22:38
522
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人