- 博客(11)
- 收藏
- 关注
RSS订阅原创 java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/SingleOutputStreamOperator
provided
2023-06-23 20:06:06
284
原创 使用Python进行Unicode编码解析
使用Python进行Unicode编码解析原数据类型：txt文本，文本编码是UTF8，但是内容是Unicode编码（应该是这么理解）import codecsdef utf82unicode(string): """ 函数功能：将utf-8保存的Unicode解码 :param string:传入字符串，转为union """ byte_list = bytes(string, encoding='utf-8') byte_transform = co
2021-09-07 15:18:07
2250
原创 PySpark与开发环境的集成
PySpark 本地环境（Mac）自己在学习PySpark的时候遇到许多问题，下面来写一下自己所遇到的问题，配置过程中主要问题还是python2和python3直接的版本冲突比较多，spark2.3.2 自带的python环境是python2, 而本地环境是python31. Pycharm集成PySpark1.1 配置环境变量SPARK_HOME=/usr/local/spark # spark的环境变量PYTHONPATH=/usr/local/spark/python #
2020-11-29 21:50:33
728
2
原创 DBeaver 完美连接 Hive
连接过程中遇到很多问题，下面把我的经历分享一下1. 安装教程这边我也是借鉴别人的教程先实现了，建议把教程先看完，并且不要开集群，配置改完再开。下面这个教程很详细，但是不够完整。建议使用hive下的jar包，其他jar包可能发生未知错误https://dongkelun.com/2018/07/13/dbeaverConnectHive/2. 改配置文件在现在使用的最新的...
2020-03-09 11:58:55
1657
原创 numpy ndarray数组的创建
ndarray 数组的创建 numpy中最重要的数据类型：数组–numpy （列表–python）数组被称为是n_d array数组 多维数组，跟列表一样的是：都是能够存储多个元素的容器。Numpy提供了很多方式（函数）来创建数组对象，常用的方式如下：array (重要)arange (重要)ones / ones_like (重要)zeros / zeros_likeempty...
2020-01-03 15:12:54
1369
原创 Python ndarray数组 与 list列表区别
数组(ndarray)与列表(list)数组（ndarray）与列表 ( list ) 类似，是具有相同类型的多个元素构成的整体。数组局限：数组元素要求是相同类型，而列表的元素可以是不同类型。数组优势：数组可以与标量进行运算，数组之间也可以进行矢量化运算。数组在运算时，具有广播能力。数组底层使用C程序编写，运算速度快。数组底层使用C中数组的存储方式（紧凑存储），节省...
2020-01-03 15:04:28
6973
原创 Hive千分位函数percentile()和percentile_approx()
percentile函数和percentile_approx函数percentile(col, p) p∈(0,1) 传入两个参数，第一个参数类型必须是int，一般是某一列的数据， 返回的是col列的第p分位的值。percentile_approx(col,p,B) p∈(0,1) 传入三个参数，col列是数值类型都可以，B用来控制内存消耗的精度。实...
2019-10-31 18:10:53
11378
原创 Python 模块说明
模块介绍 从物理的角度来说，一个模块就是一个.py文件。从逻辑的角度说，就是模块的命名空间。产生的背景：在同一个.py文件中，一个名字，不能被定义两次。为了解决名字冲突问题，所有我们定义不同的模块模块的好处：1.有利于项目的划分 2.模块提供了独立的命名空间，解决了命名冲突 3.模...
2019-07-30 19:16:39
252
原创 Linux 特殊变量使用
变量简介$? 表示上一个命令退出的状态码 $$ 表示当前进程编号$0 表示当前脚本名称$n 表示n位置的输入参数（n代表数字，n>=1）$# 表示参数的个数，常用于循环$*和$@ 都表示参数列表变量展示： 例一 定义一个脚本#!/bin/bashecho '$$:查看进程号'echo $$echo '$?:返回上个进程执行...
2019-07-09 18:48:31
280
原创 . 与 sh执行脚本的区别
先看两个脚本 a.sh#!/bin/bashecho $$A="执行了A"echo $Aecho $B/home/cpl/b.sh b.sh#!/bin/bashecho $$B="执行了B"echo $Aecho $B使用sh分别执行两个脚本（铺垫）执行sh a.sh可以看出执行sh a.sh启动了一个子进程，而a.sh并不能访问...
2019-07-09 16:05:07
1679
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人