SYP'S Blog

原创 python函数的定义和调用

在编程中，函数就像是一台机器，接受一些输入（参数），进行一些操作，然后产生输出（结果）。这让我们的代码更加模块化和易于理解。默认参数是在函数定义时指定的参数默认值。如果调用函数时没有提供该参数，将使用默认值。函数的调用通过函数名和参数列表完成。调用函数就是告诉这个函数执行它的任务。函数可以返回单个值或多个值（以元组形式返回）。函数可以用来解决实际问题。函数可以返回一个值，这个值可以被其他代码使用。位置参数是按照定义的顺序传递给函数的参数。来定义一个函数，后跟函数名和参数列表。

原创 递归算法教程

递归算法是一种通过调用自身来解决问题的方法。在递归过程中，问题会被分解为更小的、相似的子问题，直到最小的子问题能够被直接解决。递归算法通常包含两个部分：基本情况和递归情况。

原创 【主题课】9.10教师节电子贺卡制作

9.10是教师节，提到老师，大家首先想到的可能就是在学校中教我们文化课的人，除此之外，在生活或工作中给予我们指导及帮助的人也可称之为老师。本次课我们就使用 Python 来为所有的老师送上节日的祝福。

原创 【思考】反欺诈中的“联防联控”

跨行业跨行业，也就是要用多个行业的数据对人的行为进行分析。一般地，对于职业黑产，他们会在不同行业都有欺诈行为，这样才能使得他们的技术效用最大化。例如，薅羊毛，可以是发生在金融行业，也可以发生在O2O中。跨平台在同一行业中，黑产的野心是横扫所有平台。这就需要第三方公司或联盟组织，将这些黑产信息共享，一定程度上消除数据孤岛。跨场景在反欺诈过程中，涉及注册、登录、修改资料、发弹幕、私信等一系列场景。经过不断的对抗后，仅仅凭借某一场景防控是很难取得好的效果，因为每个场景下的风控策略都有上限和短板。这就要求

原创 【解决方案】hive 构造给定大小的数组 array

需求现有如下数据表 table_1aba13a22a31想要得到的结果表为 table_2aba13a13a13a22a22a31方案从表 table_1 到 table_2，实际就是对数据按照 b 列的取值进行展开，如 b 列取值为 3 时所在行展开为 3 行。分析思路如下：...

原创 【解决方案】ValueError: Some of types cannot be determined by the first 100 rows

问题在 spark 中试图将 RDD 转换成 DataFrame 时，有时会提示 ValueError: Some of types cannot be determined by the first 100 rows, please try again with sampling，此时有 2 种解决方案：方案一：提高数据采样率(sampling ratio)sqlContext.creat...

原创 【解决方案】pyspark 绘图报错：_tkinter.TclError: no display name and no $DISPLAY environment variable

问题描述matplotlib画图失败（pyspark、pyspark3），报错如下：no display name and no $DISPLAY environment variableTraceback (most recent call last): File "<stdin>", line 21, in plot_with_labels File "/usr/in...

原创 【感悟】参加公司首届黑客马拉松有感

关于比赛黑客马拉松概念源自美国，随着智能手机风行，“黑客马拉松”逐渐成为插件开发的主要形式：一群高手云集一堂，几十个小时里开发出一款插件，累了或坐或卧，现场休息，做完当场交作品，是“世界上最酷的开发者狂欢”。黑客马拉松是程序员的“美国偶像”，非常受欢迎。参与黑客马拉松的，除了热衷钻研技术的软件工程师，还有来自风投公司的团队。黑客马拉松一般长达几十个小时，参赛者累了或坐或卧，现场休息。“黑客马拉...

原创 [学习笔记] 《精准营销：社会化媒体时代企业传播实战指南》

原创 SAS 数据分析实例之数据描述、预处理和抽样

1 描述统计1.1 描述表属性ods noproctitle;ods select attributes variables enginehost directory;proc datasets lib=SASHELP; contents data=SASHELP.CARS order=collate out=WORK.TableAttributes (label="Conten...

原创 Mac 上使用 SAS 的 2 种方法

方法一、下载安装学生版 SAS安装说明：https://www.sas.com/en_us/software/university-edition/download-software.html#osx-setup包含的模块：---Base SAS 软件---SAS/STAT---SAS/ETS---SAS/IML---SAS/ACCESS Interface to...

原创 联邦学习 Federated Learning 相关资料整理

论文Towards Federated Learning at Scale: System Design安全的联邦迁移学习（Secure Federated Transfer Learning）联邦强化学习（Federated Reinforcement Learning）SecureBoost 安全树模型会议资料联邦学习的研究与应用Federated Learning an...

转载 Python2 和 Python3 的区别及兼容技巧

转自https://www.pythontab.com/html/2018/pythonhexinbiancheng_1026/1369.html前言最近 Python 之父 Guido van Rossum（龟爷）终于在 Python 官方邮件组落实了 Python 2.7 的终焉之日（EOL）。说的是 Python 2.7 的 EOL 日期最终确定为 2020 年 1 月 1 日...

原创 [学习笔记]《零基础做出高逼格PPT》

课程介绍电子化办公学习的时代，做好PPT可以说是每位学生、职场人士完成工作、凸显自我、升职加薪的必备技能。可以这么说，如果你能做出一手有逼格、超专业的PPT，它就会像一面放大镜一样，最大化地凸显你其他方面的能力、优点，从而为你的人生赢来更多的发展机会。讲师介绍珞珈，国内最大的演示设计网站之一演界网首席设计师，国内最具知名度的PPT设计师、培训师之一，曾经为华为、阿里巴巴、腾讯设计制作PPT，...

原创 [解决方案]spark 2.4 报错：grouping expressions sequence is empty, *** is not an aggregate function.

一、报错详情codeselect id , content_mapfrom test_db.test_tbhaving content_map is not null errorgrouping expressions sequence is empty, and 'test_db.test_tb.`id`' is not an aggregate function. Wrap ...

转载 颜色搭配表

原创 pandas dataframe 中的 explode 函数

在使用 pandas 进行数据分析的过程中，我们常常会遇到将一行数据展开成多行的需求，多么希望能有一个类似于 hive sql 中的 explode 函数。这个函数如下：Code# !/usr/bin/env python# -*- coding:utf-8 -*-# create on 18/4/13import pandas as pddef dataframe_explode...

原创 [解决方案] java.lang.ArrayIndexOutOfBoundsException: 3

[解决方案] Lost task 0.0 in stage 242.0 (TID 50429, spark-dn-bdp-p-037040.hz.td, executor 526): java.lang.ArrayIndexOutOfBoundsException: 3原始代码报错信息分析过程spark 升级到 spark 2.3.2后就有这个问题。具体原因后续再更新。解决方案...

原创 [解决办法] Caused by: java.util.regex.PatternSyntaxException: Dangling meta character '*' near index 0

原始代码select regexp_replace(string_data, "\\*+", "%") as new_stringfrom test_tb报错信息Caused by: java.util.regex.PatternSyntaxException: Dangling meta character '*' near index 0 分析过程因为+、*、|、\等符号在正则...

原创 [解决办法] Invalid PythonUDF <lambda>(), requires attributes from more than one child.

[解决办法] Invalid PythonUDF (), requires attributes from more than one child.报题中的错误，解决办法：在过滤过程前 加 df.cache() (这里的 df 为过滤的 DataFrame)The sequence of steps that causes this are:join two dataframes A a...

转载 [解决办法] jupyter command not found

原文：https://blog.csdn.net/songyu0120/article/details/78245092在 EI captain 版本以及以上系统的 Mac 上使用 pip 安装 python 相关的包的时候, 由于 sip 机制 (System Integrity Protection) 的不允许命令行写入内容到系统目录, 因此一个比较”优雅”的解决方案就是针对当前用户安装包...

原创 Chrome 浏览器扩展程序推荐 Top 10

1. Evernote Web Clipper一键保存网页到印象笔记，即时同步到你的手机和电脑，不用复制粘贴编辑再整理。看见什么，「剪」什么。可选择保存整个页面、网页正文或指定部分2. OneTab一键合并所有标签，节省高达95％的内存，并减轻标签页混乱现象。3. FireShot一键捕捉网页截图，编辑并将它们保存为PDF，JPEG，GIF，PNG或BMP；上传，打印，在 Ph...

原创 [解决办法] Cannot have map type columns in DataFrame which calls set operations(intersect, except, etc.)

[解决办法] Sql执行错误:org.apache.spark.sql.AnalysisException: Cannot have map type columns in DataFrame which calls set operations(intersect, except, etc.), but the type of column extend_value is map&amp;lt;stri...

转载 反欺诈概念库-信用卡反欺诈管理

原文：http://www.cnki.com.cn/Article/CJFDTotal-XYKZ200508004.htm2005年6月，美国爆出4000万张信用卡资料外泄的特大新闻。消息传来，舆论哗然。尽管我国只有数千个信用卡账户数据资料受波及，但一石激起千层浪，国内金融管理机构、各银行、信用卡持卡人等在采取应急措施避免损失的同时，对于信用卡的安全性、信用卡的反欺诈管理等也给予了高度的关注。...

转载 反欺诈概念库-虚拟银行卡

虚拟银行卡虚拟银行卡是基于银行卡上的银联、VISA、万事达卡BIN码派生出来的虚拟账号，用户开通网上银行之后，可在一张实体卡的基础上，通过网银、手机客户端、或者客服电话免费申请多张，主要用于网上支付，且实体借记卡与信用卡均可申请虚拟卡。虚拟银行卡有独立的虚拟卡号、有效期及安全码等信息，其在可用额度内，能自定义消费额度和使用期限，也可随时暂停或开启卡片的使用，能有效避免部分盗刷风险。用虚拟卡...

转载 反欺诈概念库-物联卡/物联网卡/流量卡

基本认识物联卡是由三大运营商（移动、联通、电信）提供的用来满足智能硬件的联网以及集团公司的应用需求的流量卡，又叫物联网卡，流量卡。它以超高的流量性价比逐渐成为个人手机用户的宠爱。 但需要注意，这种流量卡一开始并不是为个人手机用户准备的。之前主要是为集团企业和相关专业领域服务的。对于个人手机用户来说，物联卡最吸引人的当然是它大流量低资费的优势。物联卡的流量套餐里往往是以GB为单位的流量，而...

原创 Mac 安装 xgboost

1. 下载安装文件git clone --recursive https://github.com/dmlc/xgboost2. 执行 build.shcd xgboostbash build.sh3. 执行 setup.pycd python-package/sudo python setup.py install4. 测试...

原创 反欺诈概念库-虚假交易

一、定义/形式虚假交易，是指不存在、不真实的买卖行为。在互联网中，一般是指网络购物平台中卖家（商家）通过不正当的方式获取商品销量、店铺评分、信用积分等不当利益，从而妨害买家权益的行为。刷单、刷钻、刷信誉、刷信用、刷积分等，都是虚假交易行为。例如，淘宝虚假交易的定义是指通过不正当方式提高账户信用，妨害买家高效购物权益的行为。另外，信用卡套现也是虚假交易，恶意套现还可能要坐牢。二、平台...

原创 记一次被“呼死你”电话骚扰的反骚扰经历

一、事件回放2018 年 7 月 23 日下午 6:23，接到了来自 010-53565784 的电话。对方声称是爱上街催收的，要求我通知薛＊＊及时还清在爱上街 app 上借款。同时，还告知说薛＊＊借款时将我的手机号填写为紧急联系人。一肚子气啊，自己交友不慎啊。就挂了电话。稍后微信有人添加好友。备注的信息和通话内容差不多。多了一句“不然打到你们转告为止”。当时没留意上面那句话，直到第二...

原创 [ 高效能系列 ] 易读易写的书写语言 Markdown

上一篇文章介绍了《如何绘制流程图》，在这篇文章，将介绍两个方面内容： Markdown 基本符号； 一些编辑技巧工具。 一、基本符号1. 标题语法：# + 空格 + 标题内容示例：# 一级标题## 二级标题### 三级标题#### 四级标题##### 五级标题###### 六级标题一级标题======二级标题-----...

原创 [ 高效能系列 ] 之绘制流程图基本技巧

本文将按照黄金圈法则介绍绘制流程图的技巧，即从以下 4 个方面展开介绍： 什么是流程图？（ what ） 为什么要使用流程图？ （ why ） 怎样绘制流程图？ （ how ） 使用流程图能干什么？（ what ） 一、什么是流程图？（ what ）流程图是展现过程步骤和决策点顺序的图形文档，是将一个过程的步骤用图的形式表示出来的一种图示技术。...

原创 python 操作 postgreSQL 数据库 Demo ( 基于PyGreSQL 包)

python 操作 postgreSQL 数据库 Demo ( 基于PyGreSQL 包)

转载 OGC标准函数和PostGIS扩展函数

OGC标准函数和PostGIS扩展函数

原创 [汉字编码报错] UnicodeEncodeError- 'ascii' codec can't encode characters in position 0-1- ordinal not in r

UnicodeEncodeError- 'ascii' codec can't encode characters in position 0-1- ordinal not in range(128)

原创 pandas dataFrame to_excel 报错[ UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 7

pandas dataFrame to_excel 报错 [ UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 7: ordinal not in range(128) ] 解决方案

原创 n-gram python实现（基于sklearn）

# n-gramfrom sklearn.feature_extraction.text import CountVectorizerimport pandas as pdimport jiebadata = ["他用报话机向上级呼喊：“为了祖国，为了胜利，向我开炮！向我开炮！", "记者：你怎么会说出那番话？", "韦昌进：我只是觉得，对准我自己打，才有可能

原创 CParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file

CParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file

原创 ［深坑］关于groovy正则表达式中的限位符 `^` 和 `$`

问题提出最近在工作中需要自己写正则表达式，而且是用 groovy，本以为 groovy 是沿用了 java.util.regex 包，只要 java 中运行没问题就可以，结果问题就出现了。 java 中程序如下：import java.util.regex.Matcher;import java.util.regex.Pattern;/** * Created by syp on 17/4/2

原创 Excel 突显光标所在行列

Excel 突显光标所在行列步骤:按下 alt + F11，跳出如下窗口。 双击需要的工作簿，跳出如下窗口。 输入vba代码Private Sub Worksheet_SelectionChange(ByVal Target As Range) With Target .Parent.Cells.Interior.ColorIndex = xlNone .

原创 2016年终总结

2016年已经匆匆过去了一周了，前段时间由于各种忙碌，没有时间好好总结一下过去的一年，只是在脉脉上简单的总结了几个核心的东西：父母安康，感情稳定，工作顺利。概括为一个字就是：幸。父母安康一年又一年的溜走，父母越加年迈了，父亲今年六旬。对于目前没有成家、没有立业的我，父母安康比什么都重要。感情稳定2016年，遇见了那个合适的人，在合适的时间里。相识、相知、相爱、相伴，就这么一起走过了2016。在此非