翁松秀-CSDN博客

原创《墨菲定律》——职场行为学准则

作者：翁松秀职场行为学准则蘑菇定律新人，想成蝶先破茧。像我们初涉职场的新人，不仅要承受住“蘑菇”阶段的历练，还要注意不能过早的锋芒毕露。万不可处世不留余地，锋芒毕露，有十分的才能和智慧，就要表露出十二分。有一个成语叫“大智若愚”，行走职场，必要的时候，一定学会做一个“愚人”来保全自己，这往往能让你处以不变应万变。多想想司马懿的虚怀若谷。自信心定律出色工作，先点亮心中的自信明灯。...

2019-01-18 17:07:42 11943

原创 Xshell 6安装和使用教程

作者翁松秀Xshell 6安装和使用教程Xshell 6安装和使用教程XShell 6的安装XShell 6的使用创建链接快捷键主题XShell 6的安装到官网下载安装包，【XShell官网】在下载页面勾选“Evaluation user / Home &amp; School user”，并在许可证类型License t...

2018-08-23 17:23:48 137148 2

原创 Bootstrap的安装和使用

Bootstrap的安装和使用一. Bootstrap简介Bootstrap是前端开发中比较受欢迎的框架，简洁且灵活。它基于HTML、CSS和JavaScript，HTML定义页面元素，CSS定义页面布局，而JavaScript负责页面元素的响应。Bootstrap将HTML、CSS和JavaScript封装成一个个功能组件，用起来简单，粗暴。具体Bootstrap的学习教程可参考菜鸟教程二.

2017-05-10 21:22:24 55502 2

原创金融人工智能研究报告_2022年

目前国家正在全面推动数字化金融的转型，各地方积极响应，可见数字化金融发展趋势已经形成。文章从发展概况、应用实践、支撑能力和发展前景四个方面阐述数字化转型中金融人工智能的研究情况。

2022-01-21 10:31:41 2041

Python代码格式化规范1 概述由于大家的编码风格不一样，容易造成代码合并冲突，或者代码格式不一致造成的阅读困难，所以制定此规范，统一代码格式。2 代码风格编码风格统一采用PEP 8。了解PEP 83 排版工具排版工具使用autopep 8。autopep 8是一个将 Python 代码自动排版为 PEP8 风格的工具，并且可以集成到PyCharm，对python代码进行一键格式化。4 PyCharm集成autopep8工具步骤一：安装autopep8 在命令行中使

2020-11-04 17:30:14 2767

原创项目管理知识体系（PMBOK）

作者：翁松秀#项目管理知识体系（PMBOK）PMBOK（Project Management Body Of Knowledge），项目管理知识体系是美国项目管理协会（PMI）对项目管理所需的知识、技能和工具进行的概括性描述。前面部门主要阐述了项目管理的相关概念，项目管理存在的问题以及相应的解决方法，然后介绍项目经理这个角色的作用，然后全书分两大模块来概括项目管理的知识体系：十大知识领域和...

2019-04-08 14:10:02 4175

原创 Spark快速大数据分析

作者：翁松秀文章目录Spark快速大数据分析一、Spark数据分析导论二、Spark下载与入门三、RDD编程四、键值对操作五、数据读取与保存六、Spark编程进阶七、在集群上运行Spark八、Spark调优与调试九、Spark SQL十、Spark Streaming十一、基于MLlib的机器学习Spark快速大数据分析一、Spark数据分析导论二、Spark下载与入门三、RDD编程...

2019-03-01 11:28:39 1577

原创 Linux重定向输出日志

作者：翁松秀Linux重定向输出日志重定向类型0：标准输入。1：标准输出。2：错误信息输出。2>&1：将错误信息重定向到标准输出。重定向格式1，./spark-submit.sh 2>spark.log，将./spark-submit.sh执行的错误信息输出重定向到当前目录的spark.log日志文件中。2，./spark-submit.sh >spa...

2019-02-22 09:43:15 19324

原创 Java编写Hive的UDF

作者：翁松秀文章目录一、Java编写UDF代码二、将Java代码打包成JAR包三、在Hive中添加JAR包四、创建临时函数五、进行查询测试一、Java编写UDF代码Java编写Hive的UDF代码很简单，只需要做两件事：第一，继承UDF类。第二，实现evaluate( )方法，UDF实现的功能在evaluate里实现。Hive根据类名来创建UDF，调用的时候根据evaluate参数来调...

2019-02-13 15:03:10 4183 1

原创 Spark——标准Java函数接口

作者：翁松秀Spark——标准Java函数接口在Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。Function<T,R>实现方法：R Call(T)用途：接收一个输入值并返回一个输出值，用于类似map()和filter()等操作中。Function2<T1,T2,R&gt...

2019-01-31 15:36:14 1020

原创 SparkDemo——JavaSparkWordCount

作者：翁松秀SparkDemo——JavaSparkWordCountpackage org.apache.spark.examples;import scala.Tuple2;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark...

2019-01-31 14:05:14 535 1

原创《墨菲定律》——决策中的学问

作者：翁松秀决策中的学问羊群效应别被潮流牵着鼻子走。羊群效应，是说在一个群体里面人们往往会盲目从众，在集体的运动中会丧失独立的判断。在一群羊面前放一根木棍，第一只羊跳了过去，第二只、第三只也会跟着跳过去；这时，把那根棍子撤走，后面的羊，走到这里，仍然会像前面的羊一样，向上跳一下，这就是所谓的“羊群效应”，也成“从众心理”。几颗流星划过，前面看到的人抬头看到了流星，流星没了之后，后面来的...

2019-01-30 13:49:05 1167

原创《墨菲定律》——成功学的秘密

作者：翁松秀成功学的秘密洛克定律确定目标，专注行动。木桶定律抓最“长”的，不如抓最“短”的。艾森豪威尔法则分清主次，高效成事。奥卡姆剃刀定律把握关键，化繁为简。墨菲定律与错误共生，迎接成功。酝酿效应灵感来自偶然，有时不期而至。基利定理失败是成功之母。...

2019-01-18 16:00:17 3487

原创大数据技术——Spark

作者：翁松秀大数据技术——SparkSpark简介Spark是一种通用的大规模数据分析引擎，由于Spark是基于内存的分析引擎，所以它比基于硬盘的MapReduce效率要高许多。Spark的优势：高效性：基于内存的计算比MapReduce快差不多100多倍，而基于硬盘的计算也比MapReduce快10多倍。易使用性：开发Spark可以采用两种方式，一种是内置的spark-shell...

2019-01-11 14:04:55 722

原创初识大数据——大数据技术家族

作者：翁松秀初识大数据——大数据技术家族随着技术的不断演进以及新兴技术的不断完善，需要根据平台的数据模型和业务逻辑对平台的技术体系进行更新。为了更好地与大数据组进行某些方面的对接，以及运用大数据技术的优势，计划将平台的主要技术体系C# ，SQLServer演进为Java ，MySQL ，SparkSQL ，Redis。存储结构方面由原来的C#演进为MySQL和HDFS，业务方面以前主要由存储...

2019-01-11 13:48:07 1291

转载 Spark常用算子汇总（转载）

spark RDD算子（一） parallelize，makeRDD，textFilespark RDD算子（二） filter,map ,flatMapspark RDD算子（三） distinct，union，intersection，subtract，cartesianspark RDD算子（四）之创建键值对RDD mapToPair flatMapToPairspark RDD算子...

2019-01-11 13:30:52 491

原创 Spark算子

作者：翁松秀文章目录Spark之RDD算子1. 创建算子1.1 基于集合型数据创建RDD1.2 基于外部数据创建RDD2. 变换算子2.1 对Value型RDD进行变换2.1.1 对单个Value 型的RDD 进行变换2.1.2 对两个Value 型的RDD 进行变换2.2 对Key/Value型RDD进行变换2.2.1 创建Key/Value 型RDD2.2.2 对单个Key/Value型R...

2019-01-11 11:29:08 247

原创代码整洁之道培训总结

作者：翁松秀代码整洁之道培训总结1. 本次培训的总结1.1培训目的人类行为都是以目的为导向，培训也是。这次培训目的很明确，就是让我们的代码更加简洁。为了实现这个目的，我们需要搞明白三个问题：什么是整洁的代码？为什么要让代码简洁？怎么让代码简洁？这次培训围绕这三个问题，从思想、函数、重构、设计和工具五个方面讲解代码的简洁之道，最后只为了实现一个目的，也就是本次培训的意义：让我...

2019-01-11 09:25:09 922 3

原创 2018年中国互联网企业100强

作者：翁松秀2018年中国互联网企业100强2018年7月27日，中国互联网协会、工业和信息化部信息中心在2018年中国互联网企业100强发布会暨百强企业高峰论坛上联合发布了2018年中国互联网企业100强榜单和《2018年中国互联网企业100强发展报告》，阿里巴巴集团、深圳市腾讯计算机系统有限公司、百度公司、京东集团、网易集团、新浪公司、搜狐公司、美团点评集团、三六零科技有限公司、小米集团...

2019-01-10 13:50:26 1211

原创 2019，华为一号文

软件工程就像一个国家的农业，是最基础的设施！“软件工程”和“质量工程”需要依靠架构技术，而不是依靠CMM和QA管理流程。一切工程问题，首先要思考能否通过技术解决，当前技术无法解决的问题，暂时由管理手段代劳，同时不停止寻找技术手段。2019年，请写好代码，并拥抱每一个变革和转身的机会！全面提升软件工程能力与实践，打造可信的高质量产品——致全体员工的一封信我今天写信，是要和大家沟通公司如何全面...

2019-01-03 09:11:46 920

原创 Window下和Linux下用bat执行jar包

作者：翁松秀Linux下用bat执行jar包进入bat所在目录给bat文件授权，命令：chmod 777 xxx.bat执行bat文件，命令：./xxx.bat

2019-01-02 10:51:35 1762

原创通俗易懂的欧拉回路——哥尼斯堡七桥问题

作者：翁松秀通俗易懂的欧拉回路——哥尼斯堡七桥问题问题背景“7桥问题” 就是如何能从任一处陆地出发，经过且经过每个桥一次后回到原出发点，这个问题可抽象为一个如图所示的数学意义上的图。问题转化为：“从图中的某个节点出发，经过每座桥恰好一次，又回到该节点。”欧拉路径如果图G中的一个路径包括每个边恰好一次，则该路径称为欧拉路径(Euler path)。欧拉回路如果一个回路是欧拉路径，...

2018-12-25 20:21:31 5985

原创软件复杂度和圈复杂度

作者：翁松秀软件复杂度和圈复杂度软件复杂度1，起源与应用成立于1976的McCabe &amp; Associates公司开发出了McCabe Cyclomatic Complexity Metric（McCabe圈复杂度）技术对软件进行结构测试。McCabe复杂度是对软件结构进行严格的算术分析得来的，实质上是对程序拓扑结构复杂性的度量，明确指出了任务复杂部分。McCabe复杂度能...

2018-12-24 15:30:19 11822 3

原创编码规范——代码整洁之道

作者：翁松秀#编码规范——代码整洁之道“如果你是个木匠，正在打造一个漂亮的五斗柜，你是不会在柜子后面用三合板的，哪怕那是一面对着墙，永远没有人看到它。你知道它在那里，所以即使是柜子后面，你也会用上好的木材。为了能在晚上睡个好觉，你会在审美和质量上自始至终争取做到最好。”——乔布斯“我可以列出我留意到的整洁代码的所有特点，但其中有一条是根本性的。整洁的代码总是看起来像是某位特别在意它的人写的...

2018-12-24 13:46:03 458

原创 Hive

The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax. Apache Hive™数据仓库软件便于读取、写入和管理存储在分布式存储中...

2018-08-27 09:42:02 188

原创 Windows下用Eclipse创建一个spark程序三步曲（Java版）

用Eclipse创建一个spark程序（Java版）用Eclipse创建一个spark程序（Java版）Step1：创建Maven工程在动手写第一个spark程序之前，得具备以前条件前提条件: 1. 已经安装有Maven插件的Eclipse，最新版的Eclipse Photon自带Maven插件。 2. 已经安装Maven项目管理工具，要安装的猛戳【Wind...

2018-08-23 13:52:28 4473 2

原创 Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行

Maven打包本地spark程序到jar包，上传到集群中运行Step1：Maven打包Jar包win + R 打开运行窗口输入cmd打开命令行窗口，切换到程序所在目录，我的目录是E:\code\JavaWorkspace\SparkDemo编译程序mvn compile 打包程序mvn package 如果程序没有特殊情况，比如缺胳膊少腿，打包完后回看到...

2018-08-22 19:09:00 7357 10

翻译 Apache Parquet

Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language.Apache Parquet...

2018-08-22 15:03:43 350

原创 Windows搭建Maven环境

Windows搭建Maven环境Windows搭建Maven环境Step1：下载MavenStep2：配置环境Step3：测试mavenStep4：配置阿里云镜像Windows下搭建项目管理工具Maven环境四步曲，话不多说，走你┏ (゜ω゜)=☞Step1：下载Maven版本：apache-maven-3.0.4 下载地址：http://downl...

2018-08-21 20:49:21 2407

原创 Windows本地搭建Spark开发环境

Windows系统下搭建Spark开发环境三步曲，简单粗暴，走你┏ (゜ω゜)=☞ [TOC]Step1：安装Spark到官网http://spark.apache.org/downloads.html选择相应版本，下载安装包。我这里下的是2.1.3版本，后面安装的Hadoop版本需要跟Spark版本对应。下载后找个合适的文件夹解压即可。我是新建了一个home文件夹，底下放了三个文件夹，...

2018-08-21 20:08:54 14925 1

原创本地开发Spark，运行JavaSparkPi例子报错：A master URL must be set in your configuration

错误信息：Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties18/08/21 18:39:27 INFO SparkContext: Running Spark version 1.6.018/08/21 18:39:28 ERROR SparkContext: Error init...

2018-08-21 18:54:42 985

原创 Maven搭建阿里云镜像

Maven搭建阿里云镜像在配置文件maven/conf/settings.xml中的mirrors节点增加一个mirror节点，如下：&lt;mirrors&gt; &lt;mirror&gt; &lt;id&gt;nexus-aliyun&lt;/id&gt; &lt;mirrorOf&gt;*,!jeecg

2018-08-17 15:38:28 426

原创使用EXE4J将Java程序打包成可执行程序（.exe文件)教程

使用EXE4J将Java程序打包成可执行程序（.exe文件)教程由于公司需要做一个对数据库服务器的监控程序，用的swing来实现的一个java桌面应用程序，所以需要将做好的监控程序打包成.exe文件，以便监控人员配置监控信息。所以研究了一下如何将Java程序打包成可执行程序，网上的教程七七八八，所以在导出的时候磕磕绊绊，在此写个比较完整的教程，供大家参考，以便后来人少走一点弯路。环境和...

2018-08-06 13:50:17 6861 4

原创通俗理解线程的生命周期

一个线程从出生到死亡的一生以及生命中的各个阶段新建状态：线程婴儿刚出生到被调用start()方法之前属于新建状态，虽然在程序中新建了一个线程，但此时线程还没有启动，属于新生状态，还不会走路。就绪状态：线程出生以后在程序中被调用start()方法，此时线程进入就绪状态，也就是刚会站，以后是飞还是走路，就看操作系统这个爸爸怎么说了。运行状态：线程进入就绪状态之后，操作系统爸爸对所有的线...

2018-07-19 19:21:24 647

原创 Hadoop的体系结构

Hadoop的基本介绍Hadoop是由Apache基金会开发的分布式系统基础架构，使用户能在不了解分布式底层细节的情况下，进行分布式程序的开发。充分利用分布式集群存储和计算能力来实现用户的需求。 Hadoop架构最核心的两个设计师HDFS（Hadoop Distributed File System）和MapReduce。HDFS是Hadoop的分布式文件系统，部署在低廉的硬件集群上，实现了...

2018-07-19 13:52:45 632

原创如何使用Eclipse将Java工程打包成Jar包，并用bat文件启动Jar包

一、用Eclipse将Java工程打包成Jar包step1step2step3二、用bat文件启动Jar包step4step5step6一、用Eclipse将Java工程打包成Jar包step1在Eclipse中右键你要打包的工程，点击”Export…”，Export的功能就是将Java工程导出。 step2点击Expo...

2018-07-18 11:09:51 4626 2

原创用Java向SQL Server数据库中插入float数据报错An error occurred while converting the Float value to JDBC data type

用Java向SQL Server数据库中插入float数据报错用Java向SQL Server数据库中插入float数据报错报错信息：报错原因：解决方案：报错信息：An error occurred while converting the Float value to JDBC data type DOUBLE.用Java操作SQL ...

2018-07-18 10:24:25 3030 1

原创六大设计原则

六大设计原则概念单一职责原则单一职责原则也就是SRP（Single Responsibility Principle）：There should never be more than one reason for a class to change.大致意思就是改变类的因素应该有且仅有一个，也就是说类的职责应该要划分清楚，每一个类有明确并且单一的职责。里氏替换原则里氏替换原则也就是LSP（Lisko

2017-07-31 12:01:11 218

原创 MVC架构概念

MVC架构概念MVC是一种软件开发架构，将系统划分为Model，View和Controller三层，将界面显示，业务处理和数据模型分离，降低各层之间的耦合性，提高代码的重用性以及系统的可维护性。JavaWeb应用程序开发架构传统的JavaWeb应用程序开发主要采用JSP，Servlet，JavaBean架构，现在比较流行的JavaWeb应用程序开发架构是SSH:Struts,Sprint,Hiber

2017-07-20 21:26:56 1236

原创（C语言）链表的创建、遍历、插入和删除

（C语言）链表的创建、遍历、插入和删除C语言链表的创建遍历插入和删除链表结构定义基本功能实现边界条件判断和错误情况处理总结链表结构定义struct Node{ int value; struct Node* next;};typedef struct Node LinkList;为了方便，把头结点“当成”第一个节点。基本功能实现链表的创建参数说明：n为要创建节点的

2017-07-18 17:22:49 3406 1

Excel教程.rar

空空如也