从一点一滴做起

原创 HBase命令

HBase命令启动hbase shellhbase shell查看表list描述表desc 'TableName'查看前两条数据scan 'TableName' , {LIMIT =>2} 查看数据总条数count 'TableName'查看最新数据scan 'TableName' , {LIMIT =>2,REVERSED => true}...

原创 Postgre创建针对某个库的只读权限用户，并删除

# 登录数据库psql -U postgres# 创建用户create user 用户名 password '密码';# 开启只读权限alter user 用户名 set default_transaction_read_only=on;# 进入只读的库\c 数据库名# 赋予该用户对该表查看的权限gant select on all tables in schema public to 用户名;# 查询数据库账户select * from pg_user;# 查看该用户权限se

原创 Java环境变量配置

安装目录安装JDK 选择安装目录安装过程中会出现两次安装提示 。第一次是安装 jdk ，第二次是安装 jre 。建议两个都安装在同一个java文件夹中的不同文件夹中。（不能都安装在java文件夹的根目录下，jdk和jre安装在同一文件夹会出错）安装环境配置1.计算机→属性→高级系统设置→高级→环境变量2.系统变量→新建 JAVA_HOME 变量 。变量值填写jdk的安装目录。...

原创 VMware虚拟机安装

原创 Spark：wordcount

object text { def main(args: Array[String]): Unit = { // 创建sparksession val sparkSession = SparkSession.builder().master("local").appName("Word_Count").getOrCreate() import sparkSessio...

原创 Spark学习总结

一、spark自定义类在Driver端和Executor的传输问题在一个map算子中 new class。每来一条数据将新建一个对象，每一个对象都要进行序列化，将大量消耗内存和网络带宽 在Driver端new class发送到Executor。对象将会被发送到每个task上，如果每个Executor有多个task，将占用过多内存和网络带宽（补充：可以在map端实例化对象，只实例化一次。就会减...

原创 数据预处理

问题：当数据出现噪声时该如何处理思路：两种（1）多项式拟合，利用最小二乘法确定一个阈值确定使用几阶多项式（确定一部分数据进行一次拟合） 最小二乘法（根据拟合曲线确定一个阈值，在什么范围内的是有效值，在此范围之外的为噪声）（2）分类，根据数据本身的特点构建多个feature，在多个feature中根据关键信息进行分类，特征值聚集在一起的为一类确定feature 根据featu...

原创 leetcode：生成括号（java，考察点：回溯）

题目给出 n 代表生成括号的对数，请你写出一个函数，使其能够生成所有可能的并且有效的括号组合。例如，给出 n = 3，生成结果为：[ "((()))", "(()())", "(())()", "()(())", "()()()"]思路没有搞明白，先写了在慢慢看javaclass Solution { public List<Str...

原创 SQL基本命令

postgresqlTRUNCATE TABLE table_name // 删除表中数据regexp_split_to_table(substr(列名1,1,LENGTH (列名1) - 1),'\|') as 列名2 // 按照某个字段进行拆分coalesce(字段名，替换值) // 将null替换为自定义值select *from table_na...

原创 Storm提交命令和查看日志

storm jar a.jar com.practice practice.conf // 运行jar包cd /hadoop/apache-storm-1/logs/workers-artifacts/UI界面的Id// 查看日志

原创 Spark提交命令和参数调优

参数意义和参考值：1.num-executors 线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢2.executor-memory 线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/23.executor-cores...

原创 Linux基本操作命令（hadoop、spark等）

sparkzip -d Spark.jar *.DSA *.SF // 删除spark的jar包中这些后缀的文件（在集群上运行jar包时要删除）yarn logs -applicationId application_Id > log // 下载spark运行的日志文件vim log // 查看日志yarn application -kill // 删除spa...

原创 leetcode：电话号码的字母组合（java，考察点：回溯的思想）

题目给定一个仅包含数字2-9的字符串，返回所有它能表示的字母组合。给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。示例:输入："23"输出：["ad", "ae", "af", "bd", "be", "bf", "cd", "ce", "cf"].说明:尽管上面的答案是按字典序排列的，但是你可以任意选择答案输出的顺序。思路根据输入...

原创 leetcode：岛屿的个数（java，考察点：深度优先遍历）

题目给定一个由 '1'（陆地）和 '0'（水）组成的的二维网格，计算岛屿的数量。一个岛被水包围，并且它是通过水平方向或垂直方向上相邻的陆地连接而成的。你可以假设网格的四个边均被水包围。示例 1:输入:11110110101100000000输出: 1示例 2:输入:11000110000010000011输出: 3思路深度优先遍历，遍历二维数组，...

原创 leetcode：二叉搜索树中第K小的元素（java，考察点：中序遍历）

题目给定一个二叉搜索树，编写一个函数 kthSmallest 来查找其中第 k 个最小的元素。说明：你可以假设 k 总是有效的，1 ≤ k ≤ 二叉搜索树元素个数。示例 1:输入: root = [3,1,4,null,2], k = 1 3 / \ 1 4 \ 2输出: 1示例 2:输入: root = [5,3,6,2,4,null,nul...

原创 Java代码优化

1、日志中参数拼接使用占位符“{}”，不使用“+” private static final Logger log = LoggerFactory.getLogger(a.class); log.info("userId:"+count); // 不推荐，每次都会执行一次字符串的拼接，但不输出结果 log.info("userId:{}",count); // 推荐，只...

原创 storm业务架构

1、配置文件 形成统一的配置文件，减少配置信息修改的次数。2、数据接入spout编写一个统一的spout（BasicSpout），可以接入kafka、mq、file文件。在之后的模型开发中只需要继承该类，并调用需要的方法。3、计算方法将经常需要的计算方法形成一个公共的类，可以通过传参等方式去灵活的调用4、发送数据 同接入数据一样...

原创 leetcode：填充每个节点的下一个右侧节点指针（java，考察点：层序遍历）

题目思路层序遍历，将每层的最右边的下一个节点赋值为null 将上一个节点指向下一个节点java/*// Definition for a Node.class Node { public int val; public Node left; public Node right; public Node next; public N...

原创 leetcode：从前序与中序遍历序列构造二叉树（java，考察点：构造二叉树）

题目根据一棵树的前序遍历与中序遍历构造二叉树。注意:你可以假设树中没有重复的元素。例如，给出前序遍历 preorder = [3,9,20,15,7]中序遍历 inorder = [9,3,15,20,7]返回如下的二叉树： 3 / \ 9 20 / \ 15 7思路前序遍历：每一个节点都是根节点 中序遍历：根节点左边的为...

原创 leetcode：二叉树的锯齿形层次遍历（java，考察点：层序遍历）

题目给定一个二叉树，返回其节点值的锯齿形层次遍历。（即先从左往右，再从右往左进行下一层遍历，以此类推，层与层之间交替进行）。例如：给定二叉树 [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回锯齿形层次遍历如下：[ [3], [20,9], [15,7]]思路层序遍历思路，偶...

原创 leetcode：中序遍历二叉树（java，考察点：树的遍历）

题目给定一个二叉树，返回它的中序 遍历。示例:输入: [1,null,2,3] 1 \ 2 / 3输出: [1,3,2]进阶: 递归算法很简单，你可以通过迭代算法完成吗？思路中序遍历：左根右。前序遍历：根左右；后序遍历：左右根。 创建一个栈，将根节点和左节点依次入栈 当左节点空时，进行出栈，添加到链表中。此时左节点在前，根节点在...

原创 leetcode：相交链表（java，考察点：交点的寻找）

题目思路如果两个链表相交，则交点比在较短的链表的其中一个节点上 遍历两个链表计算两个链表的长度，相减计算长度的差值 较长的链表先走差值的长度 同时遍历两个链表，比较两个链表的值，相等则相交java/** * Definition for singly-linked list. * public class ListNode { * int val; * ...

原创 leetcode：奇偶链表（java，考察点：链表的奇偶节点判断）

题目给定一个单链表，把所有的奇数节点和偶数节点分别排在一起。请注意，这里的奇数节点和偶数节点指的是节点编号的奇偶性，而不是节点的值的奇偶性。请尝试使用原地算法完成。你的算法的空间复杂度应为 O(1)，时间复杂度应为 O(nodes)，nodes 为节点总数。示例 1:输入: 1->2->3->4->5->NULL输出: 1->3->5-...

原创 学习课程

1、数据结构2、操作系统3、计算机网络4、计算机原理5、编译原理6、数据库原理统计学概率论与数理统计大数据工程运筹学

原创 leetcode：两数相加（java，考察点：数字取整、取余）

题目给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0 开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 ->...

原创 leetcode：递增的三元子序列（java，考察点：对题意多理解）

题目给定一个未排序的数组，判断这个数组中是否存在长度为 3 的递增子序列。数学表达式如下:如果存在这样的 i, j, k, 且满足 0 ≤ i < j < k ≤ n-1，使得 arr[i] < arr[j] < arr[k] ，返回 true ; 否则返回 false 。说明: 要求算法的时间复杂度为 O(n)，空间复杂度为 O(1) 。示例 1:...

原创 leetcode：最长回文子串（java，考察点：算法优化）

题目给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"思路在解决一道算法问题时，首先不能忽视暴力解法，因为暴力解法是它最根本的计算逻辑。 在暴力解法的基础上利用时间换空间或者空间换时间等解法进...

原创 leetcode：无重复字符的最长子串（java，考察点：滑动窗口）

题目给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例 1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: "pwwkew"输出: 3解释: 因为无重复字符的最长子...

原创 leetcode：字谜分组（java，考察点：字符存储）

题目给定一个字符串数组，将字母异位词组合在一起。字母异位词指字母相同，但排列不同的字符串。示例:输入: ["eat", "tea", "tan", "ate", "nat", "bat"],输出:[ ["ate","eat","tea"], ["nat","tan"], ["bat"]]说明：所有输入均为小写字母。不考虑答案输出的顺序。思路将字符串进...

原创 leetcode：矩阵置零（java，考察点：零元素如何存储）

题目给定一个 m x n 的矩阵，如果一个元素为 0，则将其所在行和列的所有元素都设为 0。请使用原地算法。示例 1:输入: [ [1,1,1], [1,0,1], [1,1,1]]输出: [ [1,0,1], [0,0,0], [1,0,1]]示例 2:输入: [ [0,1,2,0], [3,4,5,2], [1,3,1,5]...

原创 leetcode：三数之和（java，考察点：双指针）

题目三数之和给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，c ，使得 a + b + c = 0 ？找出所有满足条件且不重复的三元组。注意：答案中不可以包含重复的三元组。例如, 给定数组 nums = [-1, 0, 1, 2, -1, -4]，满足要求的三元组集合为：[ [-1, 0, 1], [-1, -1, 2]]思...

原创 leetcode：存在重复（java）

题目给定一个整数数组，判断是否存在重复元素。如果任何值在数组中出现至少两次，函数返回 true。如果数组中每个元素都不相同，则返回 false。示例 1:输入: [1,2,3,1]输出: true示例 2:输入: [1,2,3,4]输出: false示例 3:输入: [1,1,1,3,3,4,3,2,4,2]输出: truejavaclass Solu...

原创 leetcode：反转链表（java）

题目反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL进阶:你可以迭代或递归地反转链表。你能否用两种方法解决这道题？java/** * Definition for singly-linked list. * public class Lis...

原创 leetcode：最小栈（java，考察点：如何对最小值赋值）

题目设计一个支持 push，pop，top 操作，并能在常数时间内检索到最小元素的栈。push(x) -- 将元素 x 推入栈中。pop() -- 删除栈顶的元素。top() -- 获取栈顶元素。getMin() -- 检索栈中的最小元素。示例:MinStack minStack = new MinStack();minStack.push(-2);minStack.pu...

原创 leetcode：Shuffle an Array（java，考察点：概率的计算）

题目打乱一个没有重复元素的数组。示例:// 以数字集合 1, 2 和 3 初始化数组。int[] nums = {1,2,3};Solution solution = new Solution(nums);// 打乱数组 [1,2,3] 并返回结果。任何 [1,2,3]的排列返回的概率应该相同。solution.shuffle();// 重设数组到它的初始状态[1,2,...

原创 leetcode：最大子序和（java，考察点：动态规划）

题目给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4],输出: 6解释: 连续子数组 [4,-1,2,1] 的和最大，为 6。进阶:如果你已经实现复杂度为 O(n) 的解法，尝试使用更为精妙的分治法求解。思路做了几道题，对动态规划的理解是，找出一条线（这条...

原创 leetcode：打家劫舍（java，考察点：动态规划）

题目你是一个专业的小偷，计划偷窃沿街的房屋。每间房内都藏有一定的现金，影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统，如果两间相邻的房屋在同一晚上被小偷闯入，系统会自动报警。给定一个代表每个房屋存放金额的非负整数数组，计算你在不触动警报装置的情况下，能够偷窃到的最高金额。示例 1:输入: [1,2,3,1]输出: 4解释: 偷窃 1 号房屋 (金额 = 1) ，...

原创 leetcode：买卖股票的最佳时机（java，考察点：动态规划？）

题目给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例 1:输入: [7,1,5,3,6,4]输出: 5解释: 在第 2 天（股票价格 = 1）的时候买入，在第 5 天（股票价格 = 6）的时候卖出，最大利润 = 6-1 = 5 ...

原创 leetcode：爬楼梯（java，考察点：斐波那契数列）

题目假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？注意：给定 n 是一个正整数。示例 1：输入： 2输出： 2解释： 有两种方法可以爬到楼顶。1. 1 阶 + 1 阶2. 2 阶示例 2：输入： 3输出： 3解释： 有三种方法可以爬到楼顶。1. 1 阶 + 1 阶 + 1 阶2....

原创 leetcode：第一个错误的版本（java，考察点：二分法）

题目你是产品经理，目前正在带领一个团队开发新的产品。不幸的是，你的产品的最新版本没有通过质量检测。由于每个版本都是基于之前的版本开发的，所以错误的版本之后的所有版本都是错的。假设你有 n 个版本 [1, 2, ..., n]，你想找出导致之后所有版本出错的第一个错误的版本。你可以通过调用 bool isBadVersion(version) 接口来判断版本号 version 是否在单...