- 博客(24)
- 收藏
- 关注
RSS订阅原创 Shell编程学习笔记(四)-awk
一.awk语法格式awk是一个文本处理工具,通常用于处理数据并生成结果报告工作模式:begin-->逐行(或者按某种匹配模式)处理文本-->end语法格式:awk 'BEGIN{}pattern{commands}END{}' file_name standard output | awk 'BEGIN{}pattern{commands}END{}'BEGIN{}...
2019-07-16 14:34:16
105
原创 SQL学习笔记(一):SQL语句是如何在MySQL中执行的
一.MySQL 的逻辑架构图 Server 层包括连接器、查询缓存、分析器、优化器、执行器,涵盖MySQL的大多数核心服务功能,以及所有的内置函数,包括日期,时间,数学,函数等。所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。 存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持InnoDB,Memory 等多个存储引擎。二.查询...
2019-07-15 09:35:06
165
原创 数据结构与算法-树专题
一.前序遍历pass二.中序遍历2.1 二叉树下一个节点# -*- coding:utf-8 -*-class TreeLinkNode: def __init__(self, x): self.val = x self.left = None self.right = None self.next = N...
2019-06-12 10:24:22
129
原创 Spark学习笔记(三):Spark的工作原理
一.Performance 作者开篇就声明本书的一些方法并不适用所有情况。某些方法只在特定的数据量或者key分布有用。一个简单的例子是,当我们使用groupByKey时很容易就造成内存异常问题，但是对于一些有少量重复数据的情况，使用本书一些方法的效果比起使用这个算子，速度是一样的。所以理解数据结构，以及Spark如何与数据交互，是解决复杂问题的关键。二.How Spark ...
2019-05-14 15:39:17
217
原创 Shell编程学习笔记(三)-grep和文件查找find
一.grep1.使用时两种语法格式grep [option] [pattern] [file1,file2] command | grep [option] [pattern]2.option选项-v 不显示匹配行信息-i 搜索时忽略大小写-n 显示行号-r 递归搜索(只适用于第一种格式)-E 支持扩展正则表达式二.find1.语法格式...
2019-03-25 19:34:49
214
原创 DeepLearning论文阅读笔记(一):Cyclical Learning Rates for Training Neural Networks(CLR)
论文链接论文内容关键在于两点：1.CLR提出了一种在神经网络训练中设置global learning rates的方法，用来解决手动实验去寻找最优学习率的问题，不需要额外的计算，且通常需要更少的迭代次数。它就是让学习率在迭代过程中周期性变化，而不是固定的值。2.如何去估计CLR中的超参，如周期长度(cycle length)和边界值(boundary values)。 1.Cy...
2019-02-26 15:32:50
2410
2
原创 Spark学习笔记(二):算子综合案例实战
一:word count词频统计from pyspark import SparkContext,SparkConfimport sysif __name__ == '__main__': ''' sys.argv: 实现从程序外部向程序传递参数,是一个列表 sys.argv[0]表示代码本身文件路径 sys.exit([arg]) 程序中途退出 arg = ...
2019-02-19 13:32:21
1543
2
原创 Spark学习笔记(一):pySpark RDD编程
from pyspark import SparkContext,SparkConf#spark配置信息 注意实际工程中不会用硬编码sc = SparkContext("local", "context")'''RDD操作有两个方面:1.transformations: map filter groupby... 2.actions: reduce count collect....
2019-02-15 22:00:12
462
原创 Shell编程学习笔记(二)-变量的高级用法
1.变量替换example1:根据匹配规则删除变量部分内容example2:根据匹配规则替换变量部分内容2.字符串处理注意： ${}计算索引是从0开始 expr计算索引是从1开始。3.关于字符串的完整脚本实例#!/bin/bashstring="Bigdata process framework is Hadoop,Ha...
2019-02-11 09:05:44
193
原创 Shell编程学习笔记(一)-shell编程基础
1.创建shell脚本文件 首先必须在文件的第一行指定要使用的shell。#!/bin/bash2.条件判断if-then 只能测试命令退出状态码的条件# if-then结构 当command命令退出状态码为0（即成功运行时）执行then后面内容if command;then commandsfi#if-then-else结构if comma...
2019-02-01 17:24:01
176
原创 数据结构与算法-链表专题
一.反转链表206-Reverse a singly linked list./** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */c...
2019-01-29 15:48:26
133
原创 python面试题整理-重要概念解析
一.对象引用与垃圾回收Q 1.1.深拷贝和浅拷贝之间的区别是什么？Python中变量之间的赋值是按引用传递的浅拷贝创建一个新的变量，是对引用的拷贝,新的变量会指向了旧变量值的地址。深拷贝完全拷贝了一个副本,值也是一样的,但是变量指向值的地址不一样，与旧变量是独立存在的。Q1.2.简要描述Python的垃圾回收机制（garbage collection）Python中...
2019-01-20 18:38:29
187
原创 Java笔记-String类
String string1 = "abc";String string2 = new String("abc");String string3 = "abc";==相当于判断两个地址是否一样字符串中的equals方法 比较的是两个字符串中的每一个字符System.out.println(string1 == string2); //falseSystem.out.printl...
2019-01-07 21:21:48
116
原创 Validation and Data leakages
Validation Strategies1.Holdout2.K-fold3.Leave-one-out适用数据集非常小的情况4.Stratification让各个fold的target distribution保持一致,适用小数据集，类不平衡数据集或者多分类问题 Data Splitting Strategies Validation Problem...
2018-12-25 09:58:28
237
原创 剑指offer-面试题9-用两个栈实现队列&用两个队列实现栈
一：用两个栈实现队列import java.util.Stack;public class Solution { Stack<Integer> stack1 = new Stack<Integer>(); Stack<Integer> stack2 = new Stack<Integer>(); publi...
2018-12-01 11:17:02
123
原创 剑指offer-面试题8-二叉树的下一个节点
package offer;public class offer_8<E extends Comparable<E>> { private class Node{ E e; Node left,right,parent; ...
2018-12-01 09:22:11
114
原创 剑指offer-面试题6-从头到尾打印链表
方法一:用栈基于循环实现import java.util.ArrayList;import java.util.Stack;public class Solution { public ArrayList<Integer> printListFromTailToHead(ListNode listNode) { Stack<Integer>...
2018-11-23 10:41:11
95
原创 剑指offer-面试题3-二维数组中的查找
算法过程:1.选取数组中右上角的数字2.如果该数字小于target,则删除这个数字所在的行row++3.如果该数字大于target,则删除这个数字所在的列column--public class Find { public static boolean findNum(int[][] matrix,int target) { ...
2018-11-18 21:43:52
80
原创 剑指offer-面试题2-不修改数组找出重复的数字
package offer;public class Duplication { private int countRange(int[] arr,int l,int r) { int count=0; ...
2018-11-17 21:16:26
107
原创 LeetCode-442-数组-Find All Duplicates in an Array(剑指offer面试题3)
import java.util.*;class Solution { public List<Integer> findDuplicates(int[] nums) { List<Integer> duplicatedArray = new ArrayList<>(); for(int i=0;i...
2018-11-16 23:33:59
87
原创 基础数据结构与算法实现（3）—线段树
@SuppressWarnings("unchecked")public class SegmentTree<E>{ private E[] data; private E[] tree; private Merger<E> merger; public Segme...
2018-11-07 10:28:28
122
原创 基础数据结构与算法实现（2）—二叉搜索树BST
import java.util.LinkedList;import java.util.Queue;public class BST <E extends Comparable<E>> { private class Node{ public E e; public...
2018-10-30 16:07:29
116
原创 基础数据结构与算法实现（1）—排序算法
一.选择排序public class Selection { public static void sort(int[] a) { //将a[]按升序排列 int N=a.length; for(int i=0;i<N;i++) { ...
2018-10-27 10:52:51
161
原创 LeetCode-203-链表-移除所有的指定元素
方案一：正常逻辑，不使用虚拟头节点或递归/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */class Solution { publ...
2018-10-16 08:48:44
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人