自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(111)

转载 beautiful soup用法

python beautiful soup库的超详细用法:https://cuiqingcai.com/1319.htmlhttps://blog.csdn.net/love666666shen/article/details/77512353

2018-11-21 10:47:19 111

转载 centos pip安装mysqlclient

报错信息:解决方法:yum install mysql-devel其他可能需要安装:yum install python-develyum install gcc

2018-11-15 12:48:19 1790 1

转载 数据库建模

PDMan(Physical Data Model Manager)https://gitee.com/robergroup/pdman

2018-11-07 13:16:46 235

原创 密钥

存放位置:当前用户下的.ssh(win、linux一样)多个密钥管理:1.为各私钥文件命名如:gitlab_rsa2.在./ssh下添加config文件[root@anisble-server ywf]# cat /root/.ssh/config HOST gitlab.nokia.com IdentityFile ~/.ssh/gitlab_rsa User git...

2018-11-05 15:52:01 191

原创 cx_Oracle操作分装失败版

#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Time : 2018/9/12 12:00# @Author : Yang Wenfei# @File : nps_Oracle.py# @Software: IntelliJ IDEAimport cx_Oracle#import os#os.environ['NLS...

2018-09-13 11:53:23 112

原创 建表 分区 索引分区

create table nps_user_kpi(msisdn VARCHAR2(64),age NUMBER,gender char(6),two_i2c VARCHAR2(6...

2018-09-07 17:33:09 138

转载 sqlldr cdt文件

执行命令:sqlldr userid=epay/epay control=/tmp/test.ctl log=/tmp/test.log data=/tmp/test.csv rows=10命令参数:userid -- Oracle 的 username/password[@servicename]control -- 控制文件,可能包含表的数据log -- 记录导入时的日志文件,默认...

2018-09-07 14:35:25 95

原创 go BinarySearch

package mainimport ( "fmt")func main() { num := []int{1,3,4,6,7,8,10} fmt.Println(BinarySearch(num,100))}func BinarySearch(lst []int,m int) int { low := 0 heigh := len(lst)...

2018-09-07 14:01:19 110

原创 dos2unix sqlldr导数据

txt: SHANGHAI|#1|#277|#华东理工大学奉贤校区|#|#121.499788|#30.833079|#121.496649 30.827363;121.491823 30.83354;121.496202 30.836245;121.501608 30.839218;121.507753 30.832792;121.499687 30.828341;121....

2018-08-29 13:02:05 137

原创 oracle listener.ora配置

改完后别忘了重启 [oracle@OSS-MDT-02 admin]pwd/u01/app/oracle/product/12/db1/network/admin[oracle@OSS−MDT−02admin]pwd/u01/app/oracle/product/12/db1/network/admin[oracle@OSS−MDT−02admin] pwd /u01/app/oracle/...

2018-08-27 17:06:33 5919

原创 oracle执行sql脚本 查看当前用户的表

sqlplus @/home/oracle/oradb/CFG_MAP_SCENE_20180821151727.sql或直接sqlplus nps/Nt1@orcl @/home/oracle/oradb/CFG_MAP_SCENE_20180821151727.sqlsql脚本:DROP TABLE CFG_MAP_SCENE;CREATE TABLE CFG_MAP...

2018-08-23 13:13:13 546

原创 rhel6.5静默安装oracle12cR2

1.安装前[root@OSS-MDT-02 database]# uname -mx86_64[root@OSS-MDT-02 database]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.5 (Santiago)[root@OSS-MDT-02 database]# hostnameOS...

2018-08-21 22:26:45 363

原创 去掉0

# -*- coding:utf-8 -*-import reimport csvregex = re.compile(r'.0')with open("201711.csv",'w',encoding='utf-8',newline='') as d: writer = csv.writer(d) with open("20171.csv",encoding='ut...

2018-08-20 17:08:23 247

原创 聊天

package mainimport ( "net" "fmt")func main() { listen,err := net.Listen("tcp",":8080") if err != nil { fmt.Println("监听端口失败:",err)

2018-08-14 17:10:58 88

转载 go可以这么声明函数

func main(){ getSquareRoot := func(x float64) float64 { return math.Sqrt(x) } fmt.Println(getSquareRoot(9))}

2018-07-19 16:54:12 501

原创 go 100以内素数

package mainimport "fmt"func main() { var count int = 1 var flag bool for count < 100 { count++ flag = true for tmp:=2;tmp<count;tmp++{ if c...

2018-07-18 16:26:28 470

原创 爬虫-招标信息()

这个写的很舒服#!/usr/bin/env python3# -*- coding: utf-8 -*-import requestsimport reimport jsonimport randomfrom time import sleepfrom datetime import datefrom functools import reduceclass Prov...

2018-07-17 15:31:49 2694

原创 爬虫-最终版

#!/usr/bin/env python3# -*- coding:utf-8 -*-from time import sleepfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui import Sel...

2018-07-12 15:49:54 216

原创 爬虫-上版优化

目的:减少点击量#!/usr/bin/env python3# -*- coding:utf-8 -*-from time import sleepfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui ...

2018-07-12 13:14:53 254

原创 爬虫-

from selenium import webdriverfrom selenium.webdriver.support.ui import Selectfrom datetime import date,timedeltafrom re import findalltoday = str(date.today())yesterday = str(date.today() - tim...

2018-07-11 09:36:36 132

原创 爬虫-requests,微信公众号推送

去掉了time和bs4,不好用#!/usr/bin/env python3# -*- coding:utf-8 -*-import re,sys,time,json,requestsimport urllibfrom datetime import date,timedelta# 获取页面链接信息class PageHelperInfo(object): def pag...

2018-07-09 13:43:12 516

转载 python进度条

文本系统的控制符: \r: 将光标移动到当前行的首位而不换行; \n: 将光标移动到下一行,并不移动到首位; \r\n: 将光标移动到下一行首位。方式1:#!/usr/bin/env pythonfrom __future__ import divisionimport sys,timej = '#'if __name__ == '__main__': for i...

2018-06-25 09:58:03 138

转载 collect_set、collect_list 、concat_ws (多行合并)

collect_set去除重复元素;collect_list不去除重复元素+------+-----------------------------------+------------------------------------+|gender|concat_ws(,, collect_set(children))|concat_ws(,, collect_list(children)...

2018-06-14 15:21:59 16231

原创 被坑了一天 (一条sql搞定)

import org.apache.spark.sql._import scala.util.matching.Regeximport java.text.SimpleDateFormatimport java.util.Dateobject UserProperty { def main(args: Array[String]): Unit = { val spark =...

2018-06-04 19:39:28 166

转载 linux下查看文件编码及修改编码

1.在Vim中可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在 ~/.vimrc 文件中添加以下内容:set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样,就可以让vim自动识别文件编码(可以自动识别UTF-8...

2018-06-01 12:25:33 34660

原创 hive1.2.2 (mysql元数据库)

hive下载地址: http://mirror.bit.edu.cn/apache/hive/yum install mariadb mariadb-server systemctl enable mariadb systemctl start mariadb yum install mysql-connector-java该命令会在/usr/share/java/下产生my...

2018-05-14 13:03:14 499

原创 spark2.0.2集群环境搭建 (基于apache.hadoop 2.9.0)

1.解压root@master ~]# tar zxvf spark-2.0.2-bin-hadoop2.7.tgz mv spark-2.0.2-bin-hadoop2.7 /opt/spark2.配置环境变量 vim .bashrcexport SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_...

2018-05-11 16:51:08 264

转载 hdfs-site.xml配置参数详情

 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节dfs....

2018-05-11 12:30:46 3805

原创 Centos7搭建hadoop2.9.0集群

硬件资源 两台服务器: master 128g;slave 64g 场景为测试环境,用root用户1.修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave 重新连接2.修改/etc/hosts[root@master ~]# vi /etc/hosts127.0.0.1...

2018-05-11 12:24:34 272

原创 spark启动slave时提示 JAVA_HOME not set

解决方法:spark-config.sh 中添加jdk 路径 export JAVA_HOME=/usr/local/java/jdk1.8.0_171 如下:if [ -z "${PYSPARK_PYTHONPATH_SET}" ]; then export PYTHONPATH="${SPARK_HOME}/python:${PYTHONPATH}" export PYTH...

2018-05-09 17:00:18 740

原创 python行转列

lista=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]] ls = []lst = []for i in range(len(lista[0])): for j in lista: ls.append(j[i]) lst.append(ls) ls = []for i in lst: for j in i: ...

2018-05-09 09:58:34 4113

原创 阿里云和腾讯云混搭hadoop时namenode启动失败

2018-05-08 21:58:45 335 1

转载 使用类型参数化数组

在 Scala 中, 你可以使用 new 来实例化一个类。当你创建一个对象的实例时,你可以使用数值或类型参数。如果使用类型参数,它的作用类似 Java 或 .Net 的 Generic 类型。所不同的是, Scala 使用方括号来指明数据类型参数,而非尖括号。比如:val greetString = new Array[String](3)greetString(0)="Hello"g...

2018-05-04 11:45:44 784

原创 使用 foreach 和 for 来实现迭代

args.foreach(arg => println(arg))args.foreach( println)for (arg <-args) println(arg)

2018-05-04 11:42:48 362

原创 Scala函数

Scala 函数以 def 定义,然后是函数的名称(如 max ),然后是以逗号分隔的参数。Scala 中变量类型是放在参数和变量的后面,以 : 隔开。这种做的一个好处是便于“ type inference ”。同样如果函数需要返回值,它的类型也是定义在参数的后面(实际上每个Scala函数都有返回值,只是有些返回值类型为 Unit ,类似为 void 类型)。此外每个 Scala 表达...

2018-05-04 10:54:16 74

转载 Spark SQL之 Dataframe/Dataset

Dataframe我们可以理解为 Dataframe 就是按列组织的 Dataset,在底层做了大量的优化。Dataframe 可以通过很多方式来构造:比如结构化的数据文件,Hive表,数据库,已有的 RDD,Scala,Java,Python,R 等语言都支持 Dataframe。Dataframe 提供了一种 domain-specific language 来进行结构化数据的操作,这种操...

2018-05-03 11:34:00 103

原创 二分法、最大公约数

def b_search(n,lst): start = 0 end = len(lst) - 1 while start < end: middle = (start + end) // 2 if n > lst[middle]: start = middle + 1 elif n &lt...

2018-04-22 23:11:34 120

原创 钉钉监控服务器进程

#!/usr/bin/env python3# -*- conding: utf-8 -*-import osimport timeimport requestsimport jsonimport psutil#CPU,MEM,NET,IO,DISK,SERVER,PROCESSurl = '输入你的机器人webhook'time_now = time.strftime('%Y...

2018-03-30 13:01:19 1625

原创 Django笔记

编辑: 新闻站点django 前后端分离 orm映射关系(接口) 一套成标准 一套 增 删 改 查 适用多套数据库(关系型数据库)完善的中文文档url映射技术调试信息非常好1:开启第一个项目 django-admin startproject HandSome2:python manage.py 用来管理当前项...

2018-03-27 00:19:27 111

原创 爬虫-限速

from urllib.request import urlopen,urlparsefrom urllib.error import URLError,HTTPErrorimport reimport timefrom datetime import datetime#url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E...

2018-03-25 19:36:55 687

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除