- 博客(25)
- 收藏
- 关注
RSS订阅原创 airflow-CeleryExecutor
安装celery#Celery文档 http://docs.jinkan.org/docs/celery/index.html#Celery4.0.0在airflow中有一些问题，所以安装Celery3pip install -U Celery==3.1.24pip install airflow[celery]安装rabbitmqapt-get install rabbit...
2019-07-19 15:44:00
378
原创 airflow-LocalExecutor
安装mysql数据库支持pip install "airflow[mysql]"登录mysql，新建用户和数据库#新建名字为<airflow>的数据库CREATE DATABASE airflow; #新建用户`ct`，密码为`152108`, 该用户对数据库`airflow`有完全操作权限GRANT all privileges on airflow.* TO...
2019-07-19 15:43:07
980
原创 airflow安装
一、安装export AIRFLOW_HOME=~/airflowpip install apache-airflow二、配置# 添加密码模块 > pip install airflow[password] # 启用访问认证 > vim airflow.cfg [webserver] authenticate = true auth_backe...
2019-07-19 15:41:53
247
原创 Tornado简单验证
Tornado简单验证1. 服务器 服务器收到GET请求后，将 Authorization 字段后的用户信息取出、解密，将解密后的用户名及密码与用户设定的进行比较验证，如用户名及密码正确，服务器则根据请求，将所请求资源发送给客户端：代码块import tornado.httpserverimport tornado.ioloopimport tornado.web...
2018-05-25 15:50:27
700
原创 Superset系列：(三)缓存配置
一、文件系统配置1. 更改superset配置文件config.pyCACHE_DEFAULT_TIMEOUT = 900#缓存默认过期时间CACHE_CONFIG = {'CACHE_TYPE': 'filesystem'}#缓存类型为filesystem2. 更改flask-cache文件夹中的__init__.pyPATH = os.path.join(os.path.expanduser(
2017-12-13 11:33:21
2377
1
原创 Superset系列：(二)配置并启动Superset
安装完成之后，需要先创建 superset 管理员用户。sudo fabmanager create-admin --app superset键入命令后，会提示你依次输入用户名和密码，创建用户需要稍等片刻。 创建好用户之后，需要初始化数据库：sudo superset db upgrade数据库初始化完成之后，我们可以载入一些样本数据到数据库中（样本数据来源于世界卫生组织，由于在线环境网络原因，样
2017-11-02 12:35:46
4965
原创 Superset系列：(一)安装Superset
首先，需要安装依赖。打开实验楼在线环境终端，键入:sudo apt-get updatesudo apt-get install build-essential libssl-dev libffi-dev python-dev python-pip libsasl2-dev libldap2-dev如果你在本地 Fedora 或 RHEL-derivatives 安装，键入：sudo yum upg
2017-11-02 12:33:47
563
原创 Tornado之json api开发
使用tornad写了一个json api 的server，收益多多。后续添加文章，先贴上代码。此为gitlab链接：git@gitlab.com:tianhanfangyan/tornado_api_json.git
2017-08-10 18:24:35
1487
原创 Django-导入现有数据库
inspectdb工具自省你配置文件指向的数据库，针对每一个表生成一个Django模型，然后将这些Python模型的代码显示在系统的标准输出里面。配置好数据库之后，运行如下命令：shell>python manage.py inspectdb > yourSiteDirectory/yourApplication/models.py很强大，可以省去不少功夫，而且这也比较符合我一
2017-07-20 14:51:04
736
原创 pyspider-例子之豆瓣top250
pyspider-例子之豆瓣top250最近学习了pyspider，真是大神之作，简单易用，可视化UI，交互性不错，加之选择器的优秀耐用。使用它简单爬取了豆瓣网的top250，以下为代码：代码块#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-07-20 14:06:26# Project: douban# by：
2017-07-20 14:48:14
554
原创 Hadoop集群配置
一、创建hadoop用户： 1、创建用户名sudo useradd -m hadoop -s /bin/bashsudo adduser hadoop sudo说明：使用/bin/bash/ 作为shell，并为hadoop用户增加管理员权限2、设置密码sudo passwd hadoop二、安装java环境三、网络配置集群所用的节点都位于同一个局域网，那么更改网络连接方式为桥接（Bridge）
2017-06-19 18:05:20
269
原创 Redis基础
一、概念redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。二、特点1、Redis支持数据的持久化
2017-06-19 18:03:22
254
原创 Redis的安装
1、安装rediswget http://download.redis.io/releases/redis-3.2.9.tar.gztar xzf redis-3.2.9.tar.gzcd redis-3.2.9make2、redis的配置文档redis.conf其中关键的选项如下：# 服务器进程是否作为守护进程，在后台运行(default – no)# 当 Redis 以守护进程的方式运
2017-06-19 18:02:32
272
原创 Redis 启动的三种方法
一、直接启动1、加上&使redis以后台程序方式运行./redis-server &2、检查后台程序是否正常运行ps -ef | grep redis3、检测6379端口是否在监听了netstat -tunpl | grep 63794、启动，停止客户端redis-cli 或redis-cli -p 端口号redis-cli shutdown或kill -9 pid二、制定配置文件启动1、为r
2017-06-19 18:01:28
8063
原创 getopt 模块
目录用 [TOC]来生成目录：目录getopt 模块实例代码运行代码getopt 模块用途：解析命令行输入参数getopt(args, shotopts, longopts = [])args一般为：sys.argv[1:]shortopts：短格式（-）longopts：长格式（–）实例代码此代码为了获取三个参数,姓名、年龄、性别，：import getoptimport systr
2017-06-16 19:35:28
225
原创 RabbitMQ安装和命令
1、使用brew安装rabbitmq：brew install rabbitmq2、安装目录：/usr/local/Cellar/rabbitmq/3、配置环境变量，在任何目录下都可以启动rabbitmqvi ~/.bash_profilePATH=$PATH:/usr/local/Cellar/rabbitmq/3.6.6/sbinsource ~/.bash_pro
2017-03-28 12:05:09
255
原创 git 安装和使用-mac
安装配置：http://www.cnblogs.com/chenlogin/p/5124318.html1、初始化一个git仓库：git init2、添加文件到git仓库： git add git commit -m"说明"3、查看工作区状态：git status4、查看修改内容:git diff5、版本回退git log（命令显示从最近到最远的提交日志
2017-03-28 12:03:07
342
原创 python-访问字典
# -*- coding:utf-8 -*-dict={'a':['1','2'],'b':['3','4'],'c':['5','6'],'d':['7','8']}for ke in dict: print ke,dict[ke]#items()返回的是字典中的键值对for (k,v) in dict.items(): print "dict[%s]="%k,v
2017-03-22 16:06:58
246
原创 tornado
tornado:是一种 Web 服务器软件的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对epoll的运用，Tornado 每秒可以处理数以千计的连接，因此 Tornado 是实时 Web 服务的一个 理想框架。性能：一个 Web 应用的性能表现，主要看它的
2017-03-22 11:26:15
269
原创 Hbase集群搭建
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉hbase使用外部的zk export HBA
2016-11-07 09:36:45
255
原创 MapReduce之WordCount
每学习一门新语言，大家总会接触其一个示范程序称为“hello world”，我当时学习c语言时，输出了第一个hello world，当时觉得非常神奇，而hadoop中也有一个类似于hello world的程序，那就是WorldCount。下面简单介绍下WorldCount的代码。
2016-10-09 15:52:39
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人