- 博客(106)
- 收藏
- 关注
RSS订阅原创 Hive
文章目录前言一、Hive基础二、Hive安装配置1.地址2.安装3.启动三、Hive操作1. 简单操作2. 将本地文件导入hive（1）load（2）put3总结前言大数据框架解决的问题：海量数据的传输、存储、计算。hadoop：存储+计算一、Hive基础解决海量结构化日志的数据统计。基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质：将HQL转化成MapReduce程序。1）Hive处理的数据存储在HDFS2）Hive分析数据底层的默认
2020-10-23 12:06:28
245
原创 Hadoop伪分布式环境搭建记录
hadoop各版本下载地址：https://archive.apache.org/dist/hadoop/common/安装步骤：安装虚拟机安装Linux操作系统关闭防火墙安装JDK下载Hadoop并解压Hadoop安装
2020-10-21 17:07:27
242
原创 MySQL存储过程
文章目录一、定义及优缺点二、使用1.关键语法及操作2.实例总结一、定义及优缺点存储过程（Stored Procedure）是一组为了完成特定功能的SQL 语句集，它存储在数据库中，一次编译后永久有效。用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。优点：1. 执行效率高（因为预编译过）；2. 通过其名称直接调用，减少网络通讯；3. 安全性高（需要一定的用户权限）；4. 可重复使用。缺点：1. 可移植性差（不同数据库语法不一致）；2. 过程化编程，复杂业务处理的维护成本高；3
2020-10-19 16:39:03
108
原创 ETL工具Kettle的安装及使用
文章目录前言一、Kettle的组成1.勺子（Spoon.bat/Spoon.sh）2.煎锅（Pan.bat/Pan.sh）3.厨房（Kitchen.bat/Kitchen.sh）4.菜单（Carte.bat/Carte.sh）二、Kettle的下载安装前言本文主要是对一个开源的ETL工具——Kettle（水壶）的学习，特此记录。ETL：Extract（抽取）、Transform（转换）、Load（装载）Trans（转换）和Job(作业）的区别1） 作业是步骤流，转换是数据流。2）作业
2020-10-18 18:27:11
855
原创 Python正则表达式（校验邮、手机号、密码强度等）
基本格式：key = '待匹配字符串'p = '匹配规则'pattern = re.compile(p)res = pattern.findall(key) #匹配结果 findall结果存在list里，此外还有research默认贪婪方式匹配，设置懒惰方式：?.:任意字符[0-9]:0-9[a-z]:a-z[A-Z]:A-Z\d:[0-9]\D:非数字\w:[a-z0-9A-Z_]\W:除开数字、字母、下划线之外的字符+:匹配1次或多次*:匹配0次或多次{m, n}:匹配
2020-10-14 20:57:00
468
原创 Python多线程
文章目录多线程一、创建线程二、线程执行带有参数的任务三、主线程与子线程的结束顺序四、线程之间的执行是无序的，是由CPU调度决定的五、进程和线程总结多线程线程是程序执行的最小单位，一个进程中最少有一个线程，线程本身并不拥有系统资源，但它可与同属一个进程的其他线程共享进程所拥有的全部资源。通过多线程可实现多任务，还节省资源。一、创建线程导入线程模块：import threading创建线程对象：线程对象 = threading.Thread(target=任务名)启动线程：线程对象.star
2020-10-09 21:35:52
95
原创 Python多进程
文章目录多任务多进程注意事项总结多任务概念：同一时间执行多个任务作用：充分利用CPU资源，提高程序执行效率表现形式：并发（操作系统交替执行多个任务，同一时间只有一个任务在执行）、并行（操作系统给每个CPU安排一个任务，这些任务是真正意义上的同时执行）在Python中可以使用多进程和多线程来实现多任务多进程进程：操作系统进行资源分配的基本单位。简单来说，一个运行起来的程序就是一个进程多进程实现多任务的步骤1）导包：import multiprocess2）创建进程对象：进程对象 =.
2020-10-09 14:36:04
281
2
原创 Linux实用操作sed、crontab、awk等（有实例说明）
查看ip信息：ifconfig 或者 ip addrsed动作：-a新增 -c取代 -d删除 -i插入 -p打印 -s替换1）在test文件第5行后添加一行内容为haha：sed -e 5a\haha test2) 将etc/passwd的内容列出来并显示行号，同时删除第1~3行：nl /etc/passwd | sed '1,3d'3) 把config.xml中127.16.20.101一次性全替换成127.16.20.100：sed -e 's /127.16.20.1..
2020-10-01 17:57:17
413
原创 Linux查看文件大小
最简单的查看方bai法可以使用ls -ll、ls-lh命令进行查看，当使用ls -ll，会显示成字节大zhi小，而ls- lh会以KB、MB等为单位进行显示，这样比较直观一些。通过命令du -h –-max-depth=1 *，可以查看当前目录下各文件、文件夹的大小，这个比较实用。查询当前目录总大小可以使用du -sh，其中s代表统计汇总的意思，即只输出一个总和大小。同样，通过命令du -h –-max-depth=0 *，可以只显示直接子目录文件及文件夹大小统计值。如果只想查看指定目录的总大小，.
2020-09-21 10:14:34
486
原创 Linux的find命令
原地址：https://www.cnblogs.com/hechunhua/p/4860544.html博客园的文章，搬过来放一起好找，侵删
2020-09-21 09:50:12
102
原创 chr()和ord()
ord()把ASCII码转成对应的数字，chr()把数字转成对应的ASCII码s1 = 'a's2 = 99print(ord(s1))print(chr(s2))输出结果分别是97和c
2020-08-14 20:46:07
716
原创 Python读取文件时出现错误
f = open("E:\Python_Project\test.txt")错误1：'unicodeescape' codec can't decode bytes in position 14: truncated \uXXXX escape解决方法：在路径前面加上r就好， 因为路径中的\ 是转义字符f = open(r"E:\Python_Project\test.txt")错误2：with open("E:\Python_Project\test.txt") as f:
2020-08-11 10:30:37
1760
原创 LeetCode#448找到所有数组中消失的数字 Python
题目地址：https://leetcode-cn.com/problems/find-all-numbers-disappeared-in-an-array/我的解答：class Solution: def findDisappearedNumbers(self, nums: List[int]) -> List[int]: if not nums: return [] n = len(nums) res = [] nums
2020-08-10 20:59:26
175
原创 Python连接mysql、sql server数据库
首先要下载相应的模块win+R 打开cmd，执行 pip install PyMySQL #连接mysql所需要的模块 pip install pymssql #连接sql server所需要的模块然后你可以在环境变量中找到Python的路径，在…（你的Python路径）\Python\Lib\site-packages里可以找到以上两个包2.接着，就可以在ide中引入需要的模块，进行数据库连接了#连接mysqlimport pymysqlconn = pymysql.conne.
2020-08-03 12:38:25
851
1
原创 LeetCode#226翻转二叉树 Python
题目地址：https://leetcode-cn.com/problems/invert-binary-tree/看了百十来题，我仍然是一看就会，一做就废的菜鸡（有时候看都看不懂# Definition for a binary tree node.# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right = Nonec
2020-07-30 09:12:51
150
原创 Excel学习
学习地址：https://www.bilibili.com/video/BV184411C7Ci?p=4总所周知，哔哩哔哩是一个学习网站~一位台湾小哥的讲解，特别实在，全是干货没有系统学习过Excel，前几天看到隔壁小姐姐操作Excel起来6得飞起，可羡慕加上熟练操作Excel也是数据分析的必备技能赶紧学起来crt + ；分号 立马得出当前日期设置边框、常见函数（求和、均值、最大…）、排序筛选：“开始”下面注：排序时选一个单元格就好，选整列的话可能会造成数据的对应关系出错可自定义排序
2020-07-29 15:52:45
318
1
原创 LeetCode#198打家劫舍 Python
题目地址：https://leetcode-cn.com/problems/house-robber/动态规划，即使这么简单我还是写不对注意：只要不进两个连续的房屋就不会报警，但是可以跨好几个房屋，只要它们屋里的现金相加结果最大dp[n]表示前n个房屋能偷到的最大现金，那dp[n + 1] 就等于 dp[n - 1] + 第n + 1这个房屋里的现金num，和dp[n]这两个数中的最大值，即：dp[n + 1] = max(dp[n], dp[n- 1] + num)class Solution:
2020-07-25 11:06:54
164
原创 LeetCode#160相交链表 Python
题目地址：https://leetcode-cn.com/problems/intersection-of-two-linked-lists/注意：如果两个链表没有交点，返回 null.在返回结果后，两个链表仍须保持原有的结构。可假定整个链表结构中没有循环。程序尽量满足 O(n) 时间复杂度，且仅用 O(1) 内存。解法1：# Definition for singly-linked list.# class ListNode:# def __init__(self, x)
2020-07-25 10:34:41
137
原创 Pandas学习
学习来源：公众号 数据不吹牛注：该系列文章每篇文章末尾有练习数据df["某列值"].max()df["某列值"].min()df["某列值"].mean()#均值df["某列值"].std() #标准差df["某列值"].median() #中位数读取文件：import pandas as pddf1 = pd.read_csv("文件位置") # 读取csv文件df2 = pd.read_excel("***.xsl") df1.head() #查看前几行df2.tail() #
2020-07-22 11:08:13
166
原创 LeetCode#40组合总和II Python
题目地址：https://leetcode-cn.com/problems/combination-sum-ii/class Solution: def combinationSum2(self, candidates: List[int], target: int) -> List[List[int]]: if not candidates: return [] n = len(candidates) candidates.sort()
2020-07-19 20:25:13
109
原创 LeetCode#39组合总和 Python
题目地址：https://leetcode-cn.com/problems/combination-sum/提示： 1 <= candidates.length <= 30 1 <= candidates[i] <= 200 candidate中的每个元素都是独一无二的。 1 <= target <= 500class Solution: def combinationSum(self, candidates: List[int], target: i
2020-07-19 19:38:23
156
1
原创 LeetCode#34在排序数组中查找元素的第一个和最后一个位置 Python
题目地址：https://leetcode-cn.com/problems/find-first-and-last-position-of-element-in-sorted-array/labuladong二分法笔记之前看负雪明烛推荐过labuladong，我就找了他的算法小抄（是叫这名儿吧？）来看，也关注了公众号。觉得这篇写得很好，我读完之后的笔记如下：一般要求时间复杂度为O(logN)的题目就要考虑二分法。二分法主要是解决在有序数组中搜索一个值、搜索左边界/右边界的问题。1.搜索一个值的
2020-07-18 14:26:35
148
原创 LeetCode#141环形链表 Python
题目地址：https://leetcode-cn.com/problems/linked-list-cycle/时间复杂度和空间复杂度都是O(n)：# Definition for singly-linked list.# class ListNode:# def __init__(self, x):# self.val = x# self.next = Noneclass Solution: def hasCycle(self, head:
2020-07-16 09:27:50
125
原创 LeetCode#33搜索旋转排序数组 Python
题目地址：https://leetcode-cn.com/problems/search-in-rotated-sorted-array/class Solution: def search(self, nums: List[int], target: int) -> int: if not nums: return -1 l, r = 0, len(nums) - 1 while l < r: mid = (
2020-07-16 08:39:16
83
原创 LeetCode#31下一个排列 Python
题目地址：LeetCode#31.下一个排列class Solution: def nextPermutation(self, nums: List[int]) -> None: """ Do not return anything, modify nums in-place instead. """ if len(nums) < 2: return nums for i in range(len(nu
2020-07-14 21:06:19
127
原创 Solidity学习之应用前端和Web3.js
以太坊网络是由节点组成的，每一个节点都包含了区块链的一份拷贝。当你想要调用一份智能合约的一个方法，你需要从其中一个节点中查找并告诉它:智能合约的地址你想调用的方法你想传入那个方法的参数以太坊节点只能识别一种叫做 JSON-RPC 的语言。在 Web3.js 里设置 Web3 的 Provider（提供者） 告诉我们的代码应该和 哪个节点 交互来处理我们的读写。引入web3.js：可以从 github 直接下载压缩后的 .js 文件 然后包含到你的项目文件中：<script lang
2020-07-14 13:59:18
835
原创 LeetCode#22括号生成 Python
我要什么时候才能达到那种看一个题就知道用什么方法、套什么模板的境界呢class Solution: def generateParenthesis(self, n: int) -> List[str]: #if n == 0: return [] res = [] path = "" self.dfs(res, n, n, path) return res def dfs(self, res, lef.
2020-07-13 09:34:04
133
原创 Solidity学习之函数修饰符
https://cryptozombies.io/zh/lesson/4/chapter/1截至目前，我们只接触到很少的 函数修饰符。要记住所有的东西很难，所以我们来个概览：我们有决定函数何时和被谁调用的可见性修饰符: private 意味着它只能被合约内部调用； internal 就像 private 但是也能被继承的合约调用； external 只能从合约外部调用；最后 public 可以在任何地方调用，不管是内部还是外部。我们也有状态修饰符， 告诉我们函数如何和区块链交互: view
2020-07-12 15:56:16
528
2
原创 Solidity学习之时间单位
变量now返回当前的Unix时间戳（自1970年1月1日以来经过的秒数），Unix时间传统用一个32位的整数进行存储Solidity还包含秒(seconds)，分钟(minutes)，小时(hours)，天(days)，周(weeks) 和 年(years) 等时间单位。它们都会转换成对应的秒数放入 uint 中。...
2020-07-11 19:43:27
966
原创 Solidity学习之Ownable.sol、Modifier、Gas
https://cryptozombies.io/zh/lesson/3/chapter/2Ownable 合约基本都会这么干：合约创建，构造函数先行，将其 owner 设置为msg.sender（其部署者） 为它加上一个修饰符onlyOwner，它会限制陌生人的访问，将访问某些函数的权限锁定在 owner 上。允许将合约所有权转让给他人。此外，OpenZeppelin这个智能合约库主打安保和社区审查（以便需要的时候好找...
2020-07-11 15:51:09
1328
原创 #LeetCode每日一题#的阶段回顾 ||
每日回顾六题—07-07—#69 有点儿问题#70可#83 还要再写#88 再写#94 ok#98 再做做午休
2020-07-11 15:14:17
145
原创 Solidity学习之internal与external、接口
https://cryptozombies.io/zh/lesson/2/chapter/9除 public 和 private 属性之外，Solidity 还使用了另外两个描述函数可见性的修饰词：internal（内部） 和 external（外部）。internal 和 private 类似，不过， 如果某个合约继承自其父合约，这个合约即可以访问父合约中定义的“内部”函数。external 与public 类似，只不过这些函数只能在合约之外调用 - 它们不能被合约内的其他函数调用。声明函数 i
2020-07-10 20:10:35
1914
原创 Solidity学习之storage与memory、继承(inheritance)
Storage与MemoryStorage 变量是指永久存储在区块链中的变量。Memory 变量则是临时的，当外部函数对某合约调用完成时，内存型变量即被移除。状态变量（在函数之外声明的变量）默认为“存储”形式，并永久写入区块链；而在函数内部声明的变量是“内存”型的，它们在函数调用结束后消失。继承contract animal {}contract cat is animal {}编译和部署了cat之后，它可以访问自己合约里定义的函数以及animal中定义的公共函数。...
2020-07-10 19:23:02
326
原创 Solidity学习之msg.sender、require
msg.sender，它指的是当前调用者（或智能合约）的 address在 Solidity 中，功能执行始终需要从外部调用者开始。 一个合约只会在区块链上什么也不做，除非有人调用其中的函数。所以 msg.sender总是存在的。require使得函数在执行过程中，当不满足某些条件时抛出错误，并停止执行。Solidity 并不支持原生的字符串比较, 只能通过比较两字符串的 keccak256 哈希值来进行判断 require(keccak256(_name) == keccak256..
2020-07-10 18:33:54
5002
原创 Solidity学习之基础
- Solidity中有结构体Struct、数组、映射mapping1) 结构体Struct和C中定义类似：Struct Person{uint id;string name;}2) 数组静态数组 uint[5] array = [1,2,3,4,5];动态数组 uint[] array;3) 映射mapping (uint => string) IdToName;数据类型：uint（uint8、uint16、…、uint256）、string。。以太坊区块链由 _
2020-07-10 16:07:46
392
原创 很好用的智能合约学习网站分享
理论与实践相结合，支持多语言，体验很好： https://cryptozombies.io/zh这应该是我从哪看到的？忘记惹。。。真是不好意思Solidity 官方文档中文版：https://github.com/twq0076262/solidity-zh这里也可查看Solidity官方文档中文版：https://wiki.jikexueyuan.com/project/solidity-zh/...
2020-07-10 13:24:39
323
原创 #LeetCode每日一题#的阶段回顾
从今天开始往后的几天，我打算对这一个半月以来做的题做一个回顾和总结。相信好些题目我已经忘记了！所以我的计划是：重新做一遍。查缺补漏，记录于此。#1可#2#3#4 hard#5#6思路有，写不出来#7#8考正则表达式#9 回文数#10 hard 略过#11 可今天上午学了个寂寞，真是伤心，我可真是菜到头了。。 —2020-06-28—...
2020-07-05 16:16:59
291
原创 Ubuntu16.04搭建Truffle框架 之我滴感受
终于搞定了总结一下：最好用root用户进行操作，不然一堆乱七八糟的错误令你抓狂和崩溃有时候一个错一直解决不了就先放一下，多去搜搜看别人有没有遇到相同或相似的问题。为了解决最后一个错误，我花了9.9看别人的解决方法，主要还是自己太菜，为知识付费理所应当后面肯定还有好多可预见and不可预见的错误和难题等着我，没办法，硬着头皮冲呗。。还能咋办？要毕业不是心态摆好，踏实前行！...
2020-06-28 12:39:53
280
原创 LeetCode#113 路径总和II Python
我做不出来这就是#112的升级，但我就是不会转弯呀看别人题解，看半天算是懂了，尤其是tmp + [root.val]这个写法# Definition for a binary tree node.# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right = Noneclass Solution: def pat.
2020-06-27 10:17:29
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人