Without_1113的博客

原创 简单的小程序——可操作的表白神器

本程序可以实现，问题的修改，以及无需环境就能运行有需要的朋友可以私我 纯属分享一下哦 

原创 Docker安装airflow（超详细）单机，集群部署教程

基于这个项目 ：git clone https://github.com/puckel/docker-airflow上图的文件解压后如图：### 更改配置文件vim airflow.cfg### 文件移动docker-airflow底下所有文件放进 /usr/local/airflowdocker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html启动：docker-compose -..

原创 Spark消费kafka数据 json中包含数组的数据类型

JSON数据格式{ "header": { "traceId": "06ad872d5d5bfa0d", "appName": "zeus-merchant", "deviceType": null, "version": null, "userAgent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko

原创 Oracle账号

2696671285@qq.com密码：Oracle123亲测可用（2021.03.11 16:40）这是别的好心人分享的，感谢转载自：https://blog.csdn.net/yuan5025/article/details/108689201

原创 macbook 使用brew安装Java环境

命令：brew -v 查看brew的版本如果没有安装brew，安装即可命令：brew install java然后执行： sudo ln -sfn /usr/local/opt/openjdk/libexec/openjdk.jdk /Library/Java/JavaVirtualMachines/openjdk.jdk然后安装成功命令：java -versiojn...

原创 python Pandas读取数据

1.读取CSV，使用默认的标题行、逗号分隔符import pandas as pdFpath = "" #文件路径df = pd.read_csv(Fpath) # 使用pd.read_csv读取数据df.head() #查看前几行数据df.shape #查看数据的形状返回df的行数和列数df.columns #查看df的列名df.index #查看索引列df.dtypes #查看每列的数据类型2.读取txt文件，自己指定分隔符、列名import pandas as p

原创 python对字符串base64解码后用Inflater解压缩（demo）

首先导入包import base64import zlibimport json然后编写代码进行对字符串的解码和解压缩b = 'eNrNl+9v00YYx/+Vk6VJm5Qld/adf/AubRI1Iw2BljaAUOXEbmItsYPtTFRVpanaWAdiS1dt74BpmuANWseYRlXW/TVzSP+L3fns9BJKxZAaeJP4ee7ue8/n8fPY502p6Vm2dAGgDJC6QYteSdGvX70a3BnuDKK7jyTqDp0um4GJoiIoy1nNwA

原创 pyspark ValueError: Some of types cannot be determined after inferring

场景：当pandas的DF转换成spark的DF的时候报错 ValueError: Some of types cannot be determined after inferring报错原因是 存在字段spark无法推断它的类型解决方案，直接全部转换成strb['request_market'] = b['request_market'].astype(str)b['request_vin'] = b['request_vin'].astype(str)b['request_br...

原创 Mysql忘记密码 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)

linux下当我输入mysql -uroot -p 之后让我输入密码输入完密码后 报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor:yes)分析了一下报错的原因是密码错误引起的，我这边是忘记了密码（所以下面的操作是重置密码步骤）修改 /etc/my.cnf 文件，在文件中添加skip-grant-tables(如图)， 保存之后 重启mysql 命令 s...

原创 spark streaming消费kafka的数据 并写入HDFS和直接写hive表 （scala版本）

首先我消费的kafka的数据的类型为json类型数据 话不多说直接上代码 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"&gt.

原创 CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结

进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续，运行完成后安装成功（如果是首次安装） 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们

原创 spark对DF的基本操作（python版 & scala版）

1.DataFrame column类型转换python： df_green = df_green.withColumn("VendorID", df_green["VendorID"].cast(IntegerType()))scala： val df_green_1 = df_green.withColumn("VendorID", col("VendorID").cast(IntegerType))2.DataFrame 字段的删除python：

原创 spark读取csv生成DF（python和scala两版）

python流程图： python代码：from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate()path = 's3://nyc-tlc/test/fhvhv_tripdata_*.csv'df_fhvhv=spark.read.format('csv').option('sep',',').option('inferSchema',True).op...

原创 python3 实现发送邮件详解

首先获取邮箱的授权码（这里以qq邮箱为例）：首先点击设置-》账户下拉之后选择pop3/SMTP服务并开启，然后按照提示发送短信，获取授权码代码部分：import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.application import MIMEApplicationdef demo_emai.

原创 SQL 中常用的日期函数以及SQL中常见的日期转换

1.SQL 中常用的日期函数当前的时间：now()当前年月日curdate()当前的时刻curtime()日期的运算datediff('2020-10-20','1996-10-29')date_diff（time，time1）：返回两个日期之间（time，time1）的天数timediff(time，time1)：两个日期相减 time-time1，返回 time 差值timestampdiff(unit,begin,end)：返回end-begin的结果，其中begin和end.

原创 sql delete和truncate两者的区别

原创 Dependency ‘org.apache.hadoop:hadoop-hdfs:2.8.1‘ not found more... (⌘F1)

maven项目pom.xml中显示如下<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.8.1</version></dependency><dependency> <groupId>org.apache

原创 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

先启动./hbase-daemon.sh start regionserver在启动./hbase-daemon.sh start master

原创 Error: Could not open client transport with JDBC Uri: jdbc:hive2://slave3:10000: java.net.ConnectExc

HIVE客户端连接服务端：拒绝连接问题报错如下：WARN jdbc.HiveConnection: Failed to connect to slave3:10000Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the administrator to check the server status.Error: Could.

原创 Mac安装pymssql库报错 mac error: command clang failed with exit status 1

macbook 直接进行安装pip install pymssql的时候会报错 如：mac error: command 'clang' failed with exit status 1解决方案：在终端执行安装freetds brew install freetds 如果已经安装breetds 先进行卸载：brew uninstall freetds 在进行安装：brew install freetds 然后 pip3 install pymssql==版本号 问题解决...

原创 namenode和datanode启动不成功的解决方案

1，首先查看hadoop的日志文件cat /usr/local/hadoop-3.2.1/logs/hadoop-root-namenode-master.log2，根据日志文件判断出问题，不过我直接用的比较暴力的方法 直接删除name文件夹3，执行hadoop namenode -format4，然后节点启动成功...

原创 VirtualBox修改Centos修改主机名

VirtualBox修改Centos修改主机名1.修改主机名字 hostnamectl set-hostname node12.修改hosts文件，vim /etc/hosts ,修改如下的内容3.重启生效，执行reboot命令，完成配置，登陆后如图

原创 MacBook基于virtualbox安装centOs7虚拟机 详解

版本信息：virtualBox：6.1 下载连接：https://www.virtualbox.org/wiki/DownloadsCentOs 下载连接：https://app.vagrantup.com/centos/boxes/71.下载好virtualBox后直接双击安装2.下载CentOs的3.安装成功后直接在virtualenv的主页面新建4.如图5.分配内存根据自己的需求进行分配6...

原创 sql server insert触发器进行扩库的操作

USE [当前数据库名]GO/****** Object: Trigger [dbo].[T_SAL_OUTSTOCK_insert] Script Date: 08/15/2019 15:15:17 ******/SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ONGO-- =================================...

原创 python 字典推导式，通过循环列表生成相应的字典

执行结果如下：get_scripts=[{"id":item.id,"name":item.name}foritemincs_data]

原创 python Django 初始化数据到数据库的操作

引言:开发中经常会遇到一些数据在程序的运行时就要在数据库中存在，然后就对Django的数据初始化做一个简单的分享1.首先在我们的app下创建对应的models，然后在models里面进行表的创建2.对应上面的表，我们想要为这个表初始化进去两条数据 name：1 script_content：‘11111’ name：2s...

原创 flask8检测代码长度过长的解决方案

在项目根目录下创建.flake8文件，并把下面文件中的内容粘过去就行了[flake8]ignore = W504,W605,C901exclude = *migrations*, # python related *.pyc, .git, __pycache__, ./apidoc/* ./docs/* ./webpack/...

原创 apidoc的安装与使用步骤

1.首先安装nodejs和npm安装步骤：（1）下载：https://nodejs.org/en/ （2）直接对下载进行安装 （3）安装过程中，直接一直next，很简单 （4） 查看安装是否成功 打开cmd 输入...

原创 三步实现 修改IP地址和DNS的操作

win+r 进入命令行然后ipconfig /all进行查看ipconfig /release 命令进行释放ipconfig /renew   进行重新获取然后就OK了。 

转载 python实现圣诞树的基本分享

n = 50from turtle import *speed("fastest")left(90)forward(3*n)color("orange", "yellow")begin_fill()left(126)for i in range(5):forward(n/5)right(144)forward(n/5)left(72)end_fi...

原创 关于webstorm和vue项目的拉去的时候内存爆满，卡顿，或者加载不出来的问题

一共分为三步1.首先找到对应的IDE的文件，并找到如下所示的文件对文件进行打开然后更改成下图所示的内容2.设置程序在打开的时候不对一栏的包进行加载3.第三部对加载项进行设置接下来操作一下注：没完成一步进行重启，这样的话就基本加快了加载的速度问题...

原创 python Django 数据导入表格，并下载到本地的实现

1.首先把数据导入表格上面是创建表表格文件，其中有三列，分别操作人，报表时间，异常信息、 利用xlwt.easyxf（‘’）进行单元格字体颜色，样式的设置上图实现设置单元格的宽度实现数据的写入文件wb.save("home_application/step/download/test.xls")然后执行保存2.实现下载的功能需要下载test.x...

原创 Python的xlwt库操作表格-将字典数据进行导入一个格

需要存入的数据为：{    "所有异常信息": [{        "异常数据": [{            "状态": "不正常",            "步骤名称": "备份数据验证",            "备注": "None",            "时间": "None" 

原创 字典的key，value取值的操作

d = {'1':2,'3':4}for value in d.values():  print(value)输出的结果为2，4d = {'1':2,'3':4}for key in d.keys():  print(key )输出的结果为1，3d = {'1':2,'3':4}for key，value in d.items():  print(key ,value)...

原创 Python 获取当前时间的前一个月，和前一个星期的时间列表

1.获取前一个星期的时间列表def dateRange(beginDate): """ 设计时间格式，也就是取出今天前七天的时间列表 :param beginDate: :return: """ yes_time = beginDate + datetime.timedelta(days=+1) aWeekDelta = datetim...

原创 python虚拟环境virtualenv使用命令行workon的操作错误

 1.在命令行输入workon时显示‘workon’不是内部或外部命令，也不是可以运行的程序或批处理文件。 2.这个时候需要用 pip install virtualenvwrapper-win 进行操作，这样的话就是workon可以实现可用...

原创 python多环境的使用和一个电脑两个python环境应该i如何让切换

1.可以根据系统变量里面的上下顺序来确定默认的python环境2.在默认后的环境中，我们可以根据自己的需要进入不同的python环境   1).进入python2的环境    2).进入python3的环境...

原创 比较好看的表单的样式实例

这就是可以进行变动的表单，样式可以根据你想要的随意更改直接把源码贴出来了，有需要的自己拿走就行了，不用谢，如果你感觉不好意思，来个赞就行了，嘻嘻&lt;!DOCTYPE html&gt;&lt;html lang="en"&gt;&lt;head&gt;    &lt;meta charset="UTF-8"&gt;    &lt;title&gt;&lt;/

原创 python 精确的除法计算，以及有效数字的保留

python实现精确的计算，并且保留小数点后面的两位有效数字  实现精确的除法minutes = float(i) / 60保留小数点后的两位有效数字minutes = round(minutes,2)...

原创 具有签名机制的阿里云api的调用代码实现

一，首先导进来本次调用需要的模块二，公共参数的格式以及参数的类型三，生成SignatureNonce 阿里云要求每次请求api中此值不一致，本文用如下方法生成四，获取时间戳五，参数的整体参数主题六，处理参数将参数拼凑成url的参数七，生成签名字符串，根据签名机制八，转码（按照签名机制url编码的编码规则) ...